12-图像分割之RDFNet

1.前置

（1）RGB-D分割算法中的融合方式

主要分为早期融合，中期融合和后期融合，中期融合又可以细分为浅层中期融合和深层中期融合，与大多数特征融合方式特点相类似，早期融合和浅层中期融合可以提取较好的空间信息，而深层中期融合和后期融合可以更好的提取到语义信息。

缺陷：

早期融合和浅层中期融合由于融合过早，强行融合一些信息，RGB图和深度图的信息可能会无法正确匹配。

深层中期融合和后期融合在网络的深层，此时已经历了下采样，下采样会导致信息的丢失，所以最终的融合效果并没有想象的好。

（2）模型压缩 

 主流模型压缩方法，包括剪裁、量化、蒸馏和NAS :
1．剪裁,是通过剪掉卷积参数来让大模型的参数量变少

2．量化，是将Float32格式（4个字节）的模型转为int格式（2个字节），来减少计算量和模型体积

3．蒸馏，是将大模型的知识迁移到小模型，从而提高小模型的精度

4．NAS，是以模型大小和推理速度为约束的模型结构搜索，通过搜索来自动设计更高效的网络结构

2.摘要

RefineNet：

• 背景介绍:深度卷积神经网络在物体识别方面表现出出色的性能，并且也成为诸如语义分割之类的密集分类问题的首选方法
• 算法组成:我们提出RefineNet，这是一种通用的多路径优化网络，可明确利用下采样过程中的所有可用信息，以使用远程残差连接实现高分辨率预测，并引入链式残差池化结构，有效地捕获丰富的上下文信息
• 模型评估:我们在PASCAL VOC 2012数据集上实现了83.4%的loU，这是迄今为止的最好结果
   

Light-weight RefineNet：

• 背景介绍:有效和高效的语义图像分割是一项重要的任务。本文将RefineNet改编为更加紧凑的架构，使其适用于需要在高分辨率输入上实现实时性能的任务
• 算法组成:我们在原模型中确定了耗费计算量的模块，并提出了两种旨在减少参数量和浮点运算的修改
• 模型评估:我们以512×512作为输入图片尺寸，在PASCAL VOC 2012数据集上实现了81.1%的MloU，速度从20 FPS大幅提升到55 FPS

模型压缩方法： 量化，裁剪，知识蒸馏

RDFNet：

•  背景介绍:在使用RGB-D数据的多类室内语义分割中，已经表明将深度特征合并到RGB 特征中有助于提高分割精度。但是，先前的研究尚未充分利用多模式特征融合的潜力
• 算法组成:我们的网络通过包含多模式特征融合模块和多级特征优化模块，有效地捕获了多级RGB-D特征
• 模块细化:特征融合块利用残差结构学习RGB和深度特征及其组合，以充分利用其互补特征。特征细化块从多个级别学习融合特征的组合，以实现高分辨率预测
• 模型评估:所提出的体系结构在两个具有挑战性的RGB-D室内数据集NYUDv2和SUN RGB-D上实现了最先进的精度

参考：

B站深度之眼