mmseg库理论基础

应用：会议背景（抠图），复杂环境区分，遥感分辨地表物体类别，医学识别病灶区域；

基本思路：逐像素识别，问题：效率低下，重叠区域重复计算卷积；

-》 复用卷积计算；

还有一个问题——不能用全连接层进行分类，因为语义分割任务对于multi-scale有要求 -》 使用卷积层代替全连接层（论文：VGG）：全连接层里的一个神经元换成一个卷积层，输出一个张量而不是向量。

fully convolutional network 2015cvpr best paper ---- 全卷积就在于没有全连接层

还有问题——图像分类模型使用降采样层（步长卷积或者池化）来获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割任务要求同尺寸输出；

还原尺寸：预测图的升采样——对预测得分割图进行升采样，恢复原图分辨率；升采样方案——1.双线性插值，2.转置卷积（但这个转置并不是数学上的转置运算）---可学习的升采样层。

 

同样是fcnn尝试解决的一个问题（现在这个手法很常见了，其实类似于res操作）：基于顶层特征预测，再升采样32倍得到的预测图会较为粗糙；

分析原因：高层特征经过多次降采样，已经细节丢失了很多

解决思路：结合低层次和高层次的特征图

Unet也是一份对于这个问题的解答答案；