语义分割是一种图像处理技术，通过逐像素分类将图像分割成不同区域。文章讨论了语义分割、实例分割和全景分割的区别，以及它们的基本思路和挑战，如效率和输出尺寸问题。解决方案包括升采样技术，如双线性插值和转置卷积，以及结合多层级特征的方法，如PSPNet和DeepLab系列。DeepLab利用空洞卷积和多尺度ASPP模块来捕获上下文信息并解决下采样问题。
语义分割与MMSegmentation
语义分割：将图像按物体的类别分割成不同的区域。
语义分割仅考虑像素的类别，不分割同一类的不同实体。
实例分割：分割不同的实体，仅考虑前景物体。
全景分割：背景仅考虑类别，前景需要区分实体。
基本思路：逐像素分类
优势：可以充分利用已有的图像分类模型
问题：效率低下，重叠区域重复计算卷积
复用卷积计算：在滑窗上计算卷积、在原图上计算卷积，同样的卷积核，计算复用结果相同
预测图的升采样
问题：
图像分类模型使用降采样层（步长卷积或池化）获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割要求同尺寸输出
解决方法：
对预测的分割图升采样，恢复原图分辨率，升采样方案：
1. 双线性插值
2. 转置卷积：可学习的升采样层
基于多层级特征的上采样
问题：基于顶层特征预测，再升采样 32 倍得到的预测图较为粗糙。
分析：高层特征经过多次降采样，细节丢失严重。
解决思路：结合低层次和高层次特征图。</
最低0.47元/天 解锁文章
151
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
