讲座：基于深度学习的遥感影像语义分割与变化检测方法介绍

报告将总结已有的基于深度学习的遥感影像语义分割方法和变化检测方法，并介绍一种基于对象的影像语义分割方法和一种基于深度监督融合网络的高分影像变化检测方法；对于在研究方向上长时间难以取得突破的同学，报告人将分享自己从GIS向RS的科研转向之路。

人物名片：张晨晓，武汉大学测绘遥感信息工程国家重点实验室2016级博士，师从乐鹏教授，以第一作者发表SCI论文三篇，获得博士国家奖学金、中海达奖学金等。

本次报告，张晨晓博士从下面几个方面介绍了自己在遥感语义分割与变化检测方向的研究进展和从GIS转到RS的心路历程：

1、深度学习的概念
2、深度学习应用于遥感语义分割
3、深度学习应用了遥感变化检测
4、科研心得

1、深度学习概念

深度学习的主要内容包括两个部分：深度学习的基本网络结构和网络训练。感知机结构的主要原理是一个简单的神经元接受多个网络的输入，将其进行叠加并加上偏置之后通过非线性化的函数最终输出结果。通过多个神经元的叠加组合就可以实现对复杂问题非线性化的模拟求解。网络训练首先通过构建具有多个神经元的网络结构利用正向传播计算模拟的输出值和真实目标之间的差值，即为loss值。再通过反向传播和梯度下降对每一个神经元进行更新，通过多次往复的正向和反向传播来实现网络权值的更新最终得到一个较好的问题求解模型。

2、深度学习应用于遥感影像语义分割

目前基于深度学习的遥感影像语义分割方法大致可以分为三类：滑动窗口-patch分类法和对象分割-对象分类方法以及全卷积网络-端到端分类方法。

基于滑动窗口的分类法首先采用一个固定大小的滑动窗口从左至右从上至下遍历整个遥感影像，将每个窗口的内容放到卷积神经网络里面进行分类。分类的结果就是每一个窗口中心像素点的类别，由于采用的窗口是固定的，所以会存在感受域大小不确定问题。

基于对象分割思想的分类方法首先对整幅遥感图像进行对象分割，取分割后的影像放到卷积神经网络进行对象分类。这种分类方法也会存在Bounding box里面拥有的领域信息较少的问题。

最后一种基于全卷积网络的影像分类方法目前在计算机视觉领域较为流行，精度也是最高的，在这里介绍一种基于对象的多级空间上下文监督分类法。首先需要对对象取一定的空间上下文信息用来监督指导对象的分类，然后在对象分类的基础上再采取像素级别的空间上下文优化语义分割的结果。

3、深度学习应用于遥感影像变化检测

根据分析方法采用的粒度不同将基于深度学习的监督变化检测方法分为三类。第一类是基于像素比较的方法，在两幅影像的某个像素点的位置分别取像素点光谱值，然后将不同时相的光谱值特征进行组合放入卷积神经网络中来评价像素对的相似度。如果该像素对的相似度很高，则认为这个点没有发生改变。第二种是基于图斑比较的方法，取同一位置上的两个相同大小的图斑放入群体实体网络中比较图斑对的相似度。如果图斑对的相似度很高则认为这个地方没有发生改变。最后一种是影像比较的方法，直接将两幅影像放入卷积神经网络中输出一个最终变化的结果，该方法是目前精度最高、效果最好的变化检测方法。

以上三种都是基于像素比较的监督变化检测，非监督变化检测主要分为两种，基于像素比较的检测和基于对象比较的检测。基于像素比较的思想是把两幅影像通过神经网络提取出像素级的特征，然后将特征通过阈值分割、聚类分析或者变化向量分析的方法输出变化检测结果。基于对象的检测方法首先对影像进行分割，取分割后的多个对象放入神经网络中得到对象级的特征，再利用阈值分割或者变化下降分析的方法得到最终的结果。

早期融合方法将不同时相的影像数据做组合叠加输入到网络中，图像的差异性检测从网络的第一层开始进行，这将导致属于不同时相的特征可能会相互影响，原始影像的高维特征难以保持。

后期融合方法使用孪生网络结构分别接收不同时相的影像数据，将原始影像的特征提取功能和差异识别功能通过多层网络链接在同一个网络中，这会极大地增加梯度消失的隐患，进而影响原始影像特征提取的结果，导致网络前端提取出的原始影响特征的代表性较差。

针对存在的问题，我们提出了基于深度监督的影像融合网络框架。如图8所示，a是T1分支，网络分支接收T1作为输入，b是T2分支，将其作为服务。经过多层的高维特征提取之后两个分支网络汇聚于c网即为差异判别网络来生成最终的变化检测结果图。通过在通道维度对异质特征进行融合、在空间维度对异质特征进行优化、从更短距离的深度监督层直接获取更新梯度等方法增强网络性能、提高检测结果精度。

4、GIS向RS的科研转向

1）时间宝贵，及时止损，一条路走到黑真就是走到黑。

2）深度学习应用于遥感语义分割。

3）制定策略寻找合适的研究切入点。

5、科研心得

最忌不求甚解。

写文章不过分追求华丽，朴实无华更见真章。

培养自信心，坚定研究目标。

学习了解不同领域的最新进展，发现新的机会。