FCN

后记：

传统方法使用patchwise training，为了对像素进行分类，对该像素周围的一个图像块作为CNN的输入，这样做有几个问题：

（1）存储开销大；（2）计算效率低下，因为相邻像素块的内容基本重复；（3）像素块的大小限制了感知区域的大小。

还有个问题，loss怎么计算？

损失函数是在最后一层的spatial map上的每一个pixel的loss和，在每一个pixel使用softmax los。

 

FCN的优点和不足

与传统用CNN进行图像分割的方法相比，FCN有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。

同时FCN的缺点也比较明显：一是得到的结果还是不够精细。进行8倍上采样虽然比32倍的效果好了很多，但是上采样的结果还是比较模糊和平滑，对图像中的细节不敏感。二是对各个像素进行分类，没有充分考虑像素与像素之间的关系，忽略了在通常的基于像素分类的分割方法中使用的空间规整（spatial regularization）步骤，缺乏空间一致性。
---------------------

一、需要丰富的上下文信息，代表人的全局位置，并指示关键点之间的上下文关系(主要指感受野)

由此处理不可见关键点、遮挡关键点和其他复杂情况的预测。

• 越深感受野可能会越大。
• Atrous Spatial Pyramid Pooling和Pyramid Pooling Module 被广泛用于在场景分析中提取丰富的上下文信息。

ASPP模块采用具有不同扩展速率的Atrous卷积和全局池模块；PPM模块融合不同Pyramid Pooling规模下的特性，以获得全局上下文先验信息。

二：空间信息，可以提供细节信息，对于提炼关键点的位置有用(主要指特征图不断变小，会损失位置信息)

     Consecutive下采样或pooling可能会丢失空间信息，目前弥补方法有三种：

• 空洞/膨胀卷积：Deeplab、Pyramid scene parsing network等。
• 缩短低层与高层特征之间的信息路径：FPN, U-shape、Hourglass network
• 跳跃连接：skip-connected network structure

三、生成高分辨率特征图，也就是二的空间信息

 it seems that obtaining high resolution feature maps is crucial, but no matter how

• 使用上采样来提高FM分辨率，并在其他块中放置卷积参数放置：hourglass、cpn
• 将上采样和卷积参数以一种简单得多的方式合并到反卷积层中，而不用跳过层连接：SimpleBaseline