Dragonfly软件的一个特色功能就是可以让用户自己方便快速地训练深度学习的模型,实现图像分割等工作的智能完成。关于Dragonfly里面深度学习工具和智能分割向导工具的应用,可以看丁博士的两个视频来入门:
1. Dragonfly 软件中 Deep Learning Tool 应用入门
链接:https://pan.baidu.com/s/1RV8IVpn3wOhpnrVOklN6sg
提取码:p6fl
2.Dragonfly 软件中智能分割向导(Segmentation Wizard)工具介绍
链接:https://pan.baidu.com/s/1m3DGobzebK0o9Afy_iOy-Q
提取码:4jro
这里我们要讲的是一个特殊的深度学习模型方法,称为 Multi-Modality即多模态图像输入。通常我们做深度学习训练实际上都是单模态的,即一个输入图像对应一个输出Multi-ROI,训练模型和应用模型都是这样一对一。而多模态是多个输入图像对应一个输出Multi-ROI,针对的主要是某些特定成像方法,例如电子显微镜中有时可以对同一个样品的区域采集两幅图(背散射和二次电子),或者X射线CT中可以采用双能射线源得到同一个样品的两组CT图像,都是这里说的Multi Modality。而RGB恰好相当于提供了同一个样品的三组图像,所以我们可以把它作为三个输入来训练一个Multi Modality的深度学习模型。
下面我们用Segmentation Wizard来做一个演示(注意仅在Dragonfy的2020.2版本中才开始有此功能)