语义分割0

图像分割的底层任务–语义分割

2015年CVPR最佳论文：FCN–不用全连接层，全部都用卷积层，所以叫全卷机网络，它可以兼容任意尺寸的输入，每一个类别获得一个二维矩阵的map，进而得到语义分割的结果。

上采样方案：
1.双线性插值–简单粗暴，强行将小图转换成大图。
2.转置卷积(升卷积，反卷积)–可学习的升采样层。
基于顶层特征预测，再升采样32倍得到的预测图较为粗糙，原因是高层特征经过多次降采样，细节丢失严重。解决思路：结合低层次和高层次特征图。

【补充知识点】：图像的语义分为视觉层、对象层和概念层，视觉层即通常所理解的底层，即颜色、纹理和形状等等，这些特征都被称为底层特征语义；对象层即中间层，通常包含了属性特征等，就是某一对象在某一时刻的状态；概念层是高层，是图像表达出的最接近人类理解的东西。通俗点说，比如一张图上有沙子，蓝天，海水等，视觉层是一块块的区分，对象层是沙子、蓝天和海水这些，概念层就是海滩，这是这张图表现出的语义。
底层卷积层提取到的是边缘，形状，斑块，直线，转角，颜色这些底层的细粒度的视觉特征。深层的卷积层提取到的是眼睛，车轮，水杯，人脸，狗脸这样的高层次的语义的特征。高层次的语义特征分辨率比较小，而低层次的语义特征分辨率比较大。所以我们可以融合高低层次的特征来获得更好的图像分割的结果。解决方案：U-Net。直接把高层和低层对称的层来进行信息的跨层连接，像U形。

获取上下文信息：PSPNet2016–增加感受野更大的网络分支，将上下文信息导入局部预测中。

针对下采样问题又提出了空洞卷积和Deeplab算法：

空洞卷积：

CRF条件随机场：

空间金字塔池化Atrous Spatial Pyramid Pooling ASPP：

DeepLab V3+：

语义分割算法总结：