FCN网络学习

本人研一小白，写博客是为了记录学习笔记，也为了和各位大佬交流，如果文中出现错误，希望各位指正，本人不胜感激！

FCN 网络也算是图像分割领域的开山之作了，研究图像分割领域还是要看看这篇论文，会让整体的思路和架构更为完整。

论文原文为：https://arxiv.org/abs/1411.4038

接下来讲讲本人阅读完论文原文以及查询完资料后的学习感悟吧！

：起初的深度卷积神经网络主要是进行图像分类的，而图像分割乍一看是不能用深度卷积来完成，因为传统的卷积网络中存在全连接层，而全连接层的作用就是将得到的特征图映射到样本空间中，整合在一起从而能够输出一个值，而这一个值是无法表示分割结果的。所以大佬们直接扔弃了全连接层，只保留了卷积层和池化层，进行实验尝试。作者觉得这一想法可能也是现实所趋，他在论文中表示从粗略到精细推理的自然下一步是在每个像素处进行预测。

将全连接层转换为卷积层使分类网络能够输出热图：该效果图产生的原因是对像素级进行分类，所以能达到这种效果，文中也给出作者证明了一个完全卷积网络（FCN），经过训练的端到端，像素到像素的语义分割超过了最先进的技术，而无需进一步的机器。而且全卷积网络接受任何大小的输入并输出分类图。这种改变打破了卷积神经网络要求固定输入大小的弊端。

论文中还在此网络中做了很多调整，使其能得到更高效的图像分割。

1. 使用迁移学习的方法，作者对很多网络都进行了改变，比如VGG网络和GoogLeNet等。
2. 作者定义了一个新的全卷积网络（FCN）的分割，使用跳跃结构，使语义信息和表征信息得到结合，产生准确而精细的分割。

其实现示意图：

将此模块嵌入到全卷积网络中得到的网络结构图：

蓝色：卷积操作；

绿色：池化操作；

灰色：裁剪操作；

橘色：反卷积操作；

黄色：求和操作； 

这一想法的好处是：可以将深层、粗糙层的语义信息和浅层、精细层的外观信息相结合，产生准确而详细的分割。根据作者实验表明FCN-8s的效果最佳。

本文的结构就差不多是这样，下面是总结的文章创新点和待改进的地方：

创新点：

1. 将分类网络改为全卷积网络；
2. 使用迁移学习；
3. 使用跳跃连接，使语义信息和表征信息相结合，产生准确而精确的分割；

待改进：

1. 训练麻烦；
2. 上采样时采用反卷积，只能恢复尺寸，不能恢复数据信息；
3. 只对像素点进行分类，没有考虑上下文信息；