RefineNet

这个方法在前一段时间是PASCAL VOC 2012排行榜上的第三，现在的第四。
本方法主要想解决的限制是：
多阶段的卷积池化会降低最后预测结果图片的尺寸，从而损失很多精细结构信息。
现有方法的解决办法：
• 反卷积作为上采样的操作
反卷积不能恢复低层的特征，毕竟已经丢失了
• Atrous Convolution (Deeplab提出的)
带孔卷积的提出就是为了生成高分辨率的feature map，但是计算代价和存储代价较高
• 利用中间层的特征
最早的FCN-8S就是这样做的，但是始终还是缺少强的空间信息
以上所说方法在我的这篇文章(https://zhuanlan.zhihu.com/p/22308032?group_id=820586814145458176)中都有提到，感兴趣的同学可以猛戳，这里就不赘述了。
作者主张所有层的特征都是有用的，高层特征有助于类别识别，低层特征有助于生成精细的边界。所以有了接下来的网络结构，说实话我是觉得有点复杂。
网络结构

可以看见，整个结构其实是类似于FCN-8S的结构的，只是抽出特征更早，而且经过了RefineNet进行处理。
整个流程就是，1/32的feature map输入RefineNet处理后和1/16的feature map再一起又输入一个RefineNet优化，后面的过程类似。
RefineNet

可以看出，每个RefineNet的输入是可以调整的，所以整个网络的连接也是可以修改的，当然作者做实验说明在他提出的其他变体中这种连接的效果最好。
Residual Convolution Unit(RCU)

Multi-resolution Fusion

这里将输入的不同分辨率的feature map上采样到和最大feature map 等尺寸然后叠加，此处的conv用于输入的参数自适应。
Chained Residual Pooling

文中提到：
• conv作为之后加和的权重
• relu对接下来pooling的有效性很重要，而且使得模型对学习率的变化没这么敏感
• 这个链式结构能从大范围区域上获取背景context
此处不得不提到，这个结构中大量使用了identity mapping这样的连接，无论长距离或者短距离的，这样的结构允许梯度从一个block直接向其他任一block传播。
现在回过头来看看RefineNet整个网络结构还是有些复杂的，但是确实还是有一些效果，这种直接将低层特征抽取来优化高层特征的措施可以想象能对结果进行一些优化。但是始终还是觉得这样的处理有点太复杂了。
接下来看一下RefineNet在PASCAL VOC 2012上测试的结果：

说明图很好的一篇有关博文：https://blog.csdn.net/kevin_zhao_zl/article/details/84750779