语义分割论文研读1.Semantic segmentation of slums in satellite images using transfer learning on fully convol

贴论文：Semantic segmentation of slums in satellite images using transfer learning on fully convolutional neural networks

利用全卷积网路和迁移学习来实现遥感图形下贫民窟地区的语义分割

链接: https://pan.baidu.com/s/1UdMEK4WCJpQgD4wToPE-eg
提取码：3zA4

第一篇试试水，这算是我的阅读笔记吧，有些东西我可能也没搞特别清楚，主要是给自己看的，这篇很水，就简单说了一下，慢慢会做高质量的。

1.Abstract

通过遥感影像分析贫民窟信息是一种比较方便且有效的方法。目前通过深度学习方式进行遥感影像的语义分割研究是比较热门的。利用卷积神经网络（FCN）可以有效的分割遥感影像中的地物信息。采用迁移学习的方式结合FCN可以更有效的分析学习。通过Quick BIrd（QB）、Sentinel-2（S2）、TerraSAR-X（TX）等一系列的实验证明这种学习方式较为有效。

2.Introduction

2.1贫民窟特征

贫民窟在遥感图像上有其固有的属性，例如房屋较矮、区域密度较高、材料比较复杂等

2.2使用迁移学习+卷积神经网路（CNN）处理遥感影像

相对与机器学习算法，深度学习更适合处理图像信息且比较有效。所谓语义分割即在像素的水平理解图像，为每一个像素分配其类别。且分割时需要映射的精准对齐因此需要保留其空间信息，编码及-解码机结构其实就可以解决这种问题。（此结构后期会专门出一篇博客说明），采用全卷积神经网络是另一种比较有效的方法。

网络结构
FCN来源于CNN，其去掉了全连接层全部使用卷积、池化等操作逐步提取图像特征，然后通过上采样逐步恢复图像最终实现和输入同等大小且分割好的图像

此结构为FCN-VGG１９结构，下采样过程中会输出部分层的１＊１卷积，而后上采样过程中与反卷积层进项融合，有利于图像特征的保留，提高了分割准确率。

迁移学习

简单来说就是将一些已经训练好的网络权重迁移到其相似的网络结构中去，作为其初始权重。而后再经过训练可以在较低的时间复杂度内得到较好的实验结果。本文中将在Image net数据集中训练训练100次后的权重迁移到FCN-VGG19上来，节省了训练时间。

３.Methods　ａｎｄ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｓｅｔ－ｕｐ

迁移学习获得初始化权重然后导入Q－B图像训练，得到训练结果后迁移至Ｓ－２、Ｔ－Ｘ影像进行训练，得到三个输出图像。验证时使用４倍交叉验证的方式进行（图像分成四条，有放回抽取验证然后再重组），后使用其他度量方式如ｋａｐｐａ＼ｏａ等。

由图可以看出，迁移学习后的损失要低于非迁移学习

上图左侧一列为输入原始图像及对照，第二列为S-2、T-X图像.第三列为迁移后的图像，可以看出迁移学习后的S-2图像提升效果明显。而T-X图像不太明显。原文有大量分析为什么不明显。

4.Conclusion

(1) QuickBird图像中0.5 m的极高几何分辨率可以获得所有实验的最佳结果。
(2)将一个预先训练好的网络从QuickBird图像转移到entinel-2图像，显著提高了分割结果。
(3)对于主动卫星图像如TerraSAR-X的转移学习方法不会提高结果，甚至会降低结果
(4)检测结果受分割方法的影像较大，也和卫星图像有一定的关系
总结：迁移学习效果好、省时省力没烦恼、用的人都说好。