Paper1——Deep Semantic Segmentation of Natural and Medical Images: A Review

1.医学图像处理经常遇到的问题

1.1.医学图像数据规模小

• 解决方法：GAN进行数据扩增

1.2.像素级注释，麻烦，代价高

• 解决方法：引入弱监督学习

1.3.医学图像的成像方式太多（eg.CT、MR …）

• 使用非医学图像进行预训练
• 引入多任务训练方法

2.医学图像处理算法的5种优化方向

2.1.网络模型结构的改进

• FCN系列、U-Net系列、DeepLabv系列
• Encoder Decoder结构、 Attention model、 Adversarial Training 、Sequenced Models。

2.2.Data synthesis-Based 方法解决医学数据不足

GAN方法生成、引入语义一致性能显著提升性能

2.3.损失函数的改进

• 医学图像多是大背景、小前景的图像

2.3.1.CrossEntropy：

平等的学习每一个像素，如果存在类别不平衡，那普遍的类会主导训练过程。在医学图像中CE不适合。

2.3.2.Dice Loss：

这种基于重叠的方法，可以有效克服类别不平衡的问题
缺点：但是在分割小对象、大对象时波动很大，导致优化不稳定。

2.4.弱监督方法

1.从像素级的标注(监督学习)
2.图像级和边界框标注(半监督学习)
3.到完全没有标注(无监督学习)，

2.5.多任务方法

多任务同时训练的模型，也会提升在单个任务上的性能，因为多任务之间存在联系，多任务模型能帮助开发出这种联系

3.未来研究方向

3.1.优化通过skip connection传输的数据量

3.2.可以是设计新的层来捕获数据的新方面，而不是卷积或者把卷积转换成新的mainfold

3.3.通过分析排序模型和基于体积卷积的方法

3.4.探索单一损失函数，遵循交叉熵的行为，同时，提供更多的特征，如捕捉等高线距离

3.5.探索自动损失函数搜索或正则项

3.6.非医学预训练模型进行医学图像分割的风险

3.7.使用开发和使用基于物理的成像模拟器，训练分割模型和扩充现有的分割数据集。解决医学图像少的问题

3.8.提出能够在模型中结合大型医学图像和体积的空间关系的结构和训练方法

（因为医学图像很大，所以难以一次性加载到内存中一般也需要分割成小图像依次输入，这导致很难学习到图像的空间关系）

3.9.探索强化学习方法，用于语义(医学)图像分割，以模仿人类描绘感兴趣对象的方式

（深度网络神经网络：
成功地提取了不同类别目标的特征，
但却丢失了目标边界位置所在的局部空间信息）

3.10.研究一些模型和数据集在图像分割中容易出现假阳性和假阴性预测的原因

3.11.探索无分割方法，根据目标问题绕过分割步骤

（Exploring segmentation-free approaches，, bypassing the segmentation step according to the target problem.）

3.12.开发能够利用多模态患者数据的模型

（虽然大多数用于医学图像分析的深度分割模型仅依赖于临床图像进行预测，
但通常存在其他图像形式的多模态患者数据以及患者元数据，
这些数据可以提供有价值的信息，而大多数深度分割模型都不使用这些信息。）

3.13.修改输入

而不是修改

• 1.模型，
• 2.损失函数，
• 3.增加更多训练数据
  （1.在分割网络开始时附加预处理模块可以提高网络性能。
  2.利用训练好的分割网络相对于输入的梯度将其转移到一个新的空间，从而提高分割精度）

3.14.探索优化技术来优化深层神经网络的语义分割

4.一些tricks：

• 1.dilated conv（空洞卷积）：不通过pooling也能有较大的感受野看到更多的信息，
  Eg:在靠近网络瓶颈的地方用空洞卷积保存上下文信息

• 2.图像互转变：先把有目标的图像转化为没目标的图像
  再把肿瘤添加到新的健康图像上
  有利于学习到详细的结构，从而改进对象的分割

• 3.交叉熵Cross Entropy很害怕类别不平衡。
  因为他平等的学习每一个像素，如果存在类别不平衡，那么普遍的类将会主导训练的过程
  Eg：1000个样本中，999个是正例。那么学出来的模型在此数据集中准确率99.9%
  但是这个模型没用，因为它不能预测 反例。

解决方法：WCE、BCE。加权的交叉熵

• 4. Focal Loss：降低简单训练样本的权重，提升困难训练样本的权重，
     尽力挖掘更多困难样本

• 5.Overlap Measure based Loss Functions:基于重叠的方法
  优点：在克服类别不平衡的问题上 效果突出
  缺点：在分割小对象和大对象时波动很大，这导致了优化的不稳定

• 6.大背景中的小前景对象情况下基于重叠的DL比交叉熵效果要好

• 7.Encoder-decoder 网络：；因为长短跳跃连接
  跳跃连接利于：
  1.促进深层网络的训练
  2.降低梯度消失的风险