图像分割算法

一、传统图像分割

1.基于阈值的分割方法

阈值法特别适用于目标和背景占据不同灰度级范围的图。

图像若只有目标和背景两大类，那么只需要选取一个阈值进行分割，此方法成为单阈值分割；但是如果图像中有多个目标需要提取，单一阈值的分割就会出现作物，在这种情况下就需要选取多个阈值将每个目标分隔开，这种分割方法相应的成为多阈值分割。

2、基于区域的图像分割方法

区域生长

区域生长是从一组代表不同生长区域的种子像素开始，接下来将种子像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的像素作为新的种子像素继续合并过程，知道找不到符合条件的新像素为止

区域分裂合并

分裂合并可以说是区域生长的逆过程，从整幅图像出发，不断的分裂得到各个子区域，然后再把前景区域合并，得到需要分割的前景目标，进而实现目标的提取。

分水岭算法

把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。

分水岭对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化都有可能产生过度分割的现象，但是这也同时能够保证得到封闭连续边缘。同时，分水岭算法得到的封闭的集水盆也为分析图像的区域特征提供了可能。

3.基于边缘检测的分割方法

基于边缘检测的图像分割算法试图通过检测包含不同区域的边缘来解决分割问题。

4、基于小波分析和小波变换的图像分割方法

5、基于遗传算法的图像分割

6、基于主动轮廓模型的分割方法

基于深度学习的分割

1.基于特征编码（feature encoder based）

VGGNet

通过反复的堆叠33的小型卷积核和22的最大池化层，成功的构建了16~19层深的卷积神经网络。用来提取图像的特征。

VGGNet的优缺点

1. 由于参数量主要集中在最后的三个FC当中，所以网络加深并不会带来参数爆炸的问题；
2. 多个小核卷积层的感受野等同于一个大核卷积层（三个3x3等同于一个7x7）但是参数量远少于大核卷积层而且非线性操作也多于后者，使得其学习能力较强
3. VGG由于层数多而且最后的三个全连接层参数众多，导致其占用了更多的内存（140M）

ResNet

ResNet语义分割领域最受欢迎且最广泛运用的神经网络.ResNet的核心思想就是在网络中引入恒等映射，允许原始输入信息直接传到后面的层中，在学习过程中可以只学习上一个网络输出的残差（F(x)），因此ResNet又叫做残差网络。

使用到ResNet的分割模型：

• Efficient Neural Network（ENet）：该网络类似于ResNet的bottleNeck方法；
• ResNet-38：该网络在训练or测试阶段增加并移除了一些层，是一种浅层网络，它的结构是ResNet+FCN；
• full-resolution residual network(FRRN)：FRRN网络具有和ResNet相同优越的训练特性，它由残差流和池化流两个处理流组成；
• AdapNey：根据ResNet-50的网络进行改进，让原本的ResNet网络能够在更短的时间内学习到更多高分辨率的特征；
  ……
  ResNet的优缺点：
  1）引入了全新的网络结构（残差学习模块），形成了新的网络结构，可以使网络尽可能地加深；
  2）使得前馈/反馈传播算法能够顺利进行，结构更加简单；
  3）恒等映射地增加基本上不会降低网络的性能；
  4）建设性地解决了网络训练的越深，误差升高，梯度消失越明显的问题；
  5）由于ResNet搭建的层数众多，所以需要的训练时间也比平常网络要长。

2.基于区域选择（regional proposal based）

Regional proposal 在计算机视觉领域是一个非常常用的算法，尤其是在目标检测领域。其核心思想就是检测颜色空间和相似矩阵，根据这些来检测待检测的区域。然后根据检测结果可以进行分类预测。

Stage Ⅰ： R-CNN

伯克利大学的Girshick教授等人共同提出了首个在目标检测方向应用的深度学习模型：Region-based Convolutional Neural Network（R-CNN）。该网络模型如下图所示，其主要流程为：先使用selective search算法提取2000个候选框，然后通过卷积网络对候选框进行串行的特征提取，再根据提取的特征使用SVM对候选框进行分类预测，最后使用回归方法对区域框进行修正。

R-CNN的优缺点：

• 是首个开创性地将深度神经网络应用到目标检测的算法；
• 使用Bounding Box Regression对目标检测的框进行调整；
• 由于进行特征提取时是串行，处理耗时过长；
• Selective search算法在提取每一个region时需要2s的时间，浪费大量时间

Stage Ⅱ：Fast R-CNN

（从提取特征开始，略掉了region的选择）Fast R-CNN在传统的R-CNN模型上有所改进的地方是它是直接使用一个神经网络对整个图像进行特征提取，就省去了串行提取特征的时间；接着使用一个RoI Pooling Layer在全图的特征图上摘取每一个RoI对应的特征，再通过FC进行分类和包围框的修正。

Fast R-CNN的优缺点

• 节省了串行提取特征的时间；
• 除了selective search以外的其它所有模块都可以合在一起训练；
• 最耗时间的selective search算法依然存在。

Stage Ⅲ：Faster R-CNN

将selective search算法替换成为RPN，使用RPN网络进行region的选取，将2s的时间降低到10ms

Faster R-CNN优缺点：

• 使用RPN替换了耗时的selective search算法，对整个网络结构有了突破性的优化；
• Faster R-CNN中使用的RPN和selective search比起来虽然速度更快，但是精度和selective search相比稍有不及，如果更注重速度而不是精度的话完全可以只使用RPN；

Stage Ⅳ：Mask R-CNN

 何恺明大神团队提出的一个基于Faster R-CNN模型的一种新型的分割模型，

Mask R-CNN的优缺点：

• 引入了预测用的Mask-Head，以像素到像素的方式来预测分割掩膜，并且效果很好；
• 用ROI Align替代了ROI Pooling，去除了RoI Pooling的粗量化，使得提取的特征与输入良好对齐；
• 分类框与预测掩膜共享评价函数，虽然大多数时间影响不大，但是有的时候会对分割结果有所干扰。

3.基于RNN的图像分割

ReSeg模型

MDRNNs（Multi-Dimensional Recurrent Neural Networks）模型

 4.基于上采样/反卷积的分割方法

a.FCN(Fully Convolutional Network)

在FCN当中的反卷积-升采样结构中，图片会先进性上采样（扩大像素）；再进行卷积——通过学习获得权值。

优缺点：

• FCN对图像进行了像素级的分类，从而解决了语义级别的图像分割问题；
• FCN可以接受任意尺寸的输入图像，可以保留下原始输入图像中的空间信息；
• 得到的结果由于上采样的原因比较模糊和平滑，对图像中的细节不敏感；
• 对各个像素分别进行分类，没有充分考虑像素与像素的关系，缺乏空间一致性。