特征级融合_语义分割－多层特征融合

语义分割，也称为像素级分类问题，其输出和输入分辨率相同（如题图中，左边为2048x1024分辨率的Cityscapes街景图像，输入模型，得到右边同样分辨率的语义图）。由此，语义分割具有两大需求，即高分辨率和高层语义，而这两个需求和卷积网络设计是矛盾的。

卷积网络从输入到输出，会经过多个下采样层（一般为5个，输出原图1/32的特征图），从而逐步扩大视野获取高层语义特征，高层语义特征靠近输出端但分辨率低，高分率特征靠近输入端但语义层次低。高层特征和底层特征都有各自的弱点，各自的分割问题如图１所示，第二行高层特征的分割结果保持了大的语义结构，但小结构丢失严重；第三行低层特征的分割结果保留了丰富的细节，但语义类别预测的很差。

图１：不同层特征分割结果（图源[4]）。

一个自然的想法就是融合高低层特征，取长补短，分割经典工作FCN和U-Net均采用了这个策略，物体检测中常用的特征金字塔网络(FPN)也是采用了该策略。为下文需要，先介绍两类融合策略，一类是FPN，先自下而上获取高层语义特征，再通过自上而下逐步上采样高层语义特征，并融合对应分辨率的下层特征；另一类是HRNet，自下而上包含多个分辨率通路，不同分辨率特征在自下而上过程中及时进行融合。