毕业设计-基于卷积神经网络的遥感图像语义分割方法

目录

前言

课题背景和意义

实现技术思路

一、相关技术理论

二、基于残差融合和多尺度上下文信息的遥感图像语义分割方法

三、基于注意力机制和边缘检测的遥感图像语义分割方法

实现效果图样例

最后

---

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯毕业设计-基于卷积神经网络的遥感图像语义分割方法

课题背景和意义

遥感技术是通过各种传感仪器对远距离目标进行探测和识别的技术。根据工 作平台高度的不同，可分为航空遥感、航天遥感和地面遥感。由于遥感图像具 有成像比例大、不受空间限制、分辨率高等特点，受到研究人员的广泛青睐。 近年来，我国高分一号、二号、四号卫星的成功发射意味着我国卫星图像大 范围商用成为常态，而且图像数据价格也越来越便宜，意味着高分辨遥感图像大 规模应用时代正式到来。高分辨遥感图像包含大范围带有丰富数据的地物信息， 涉及环境、农业、地质等领域，可以在不实地考察的情况下获取地物特征等相关 信息。目前，遥感图像在城市规划、灾害评估、交通导航、环境保护等领域发挥 着重要作用，具有巨大的社会研究价值，为众多领域的发展提供便利。 语义分割是一种重要的图像内容解析方法，分割后的结果对后续遥感图像解 析和处理具有直接决定性的作用。

实现技术思路

一、相关技术理论

卷积神经网络

1、卷积层  

卷积层每一次的卷积是按照输入特征图的高度和宽度的滑动方式进行区域运 算，这个过程将持续到卷积核无法再进一步滑动为止。通过卷积核滑动提取特 征的方式，神经网络可以进一步提取更高层次的特征，卷积操作的计算表达式如式所示：

 卷积核的具体运算原理如图所示：

从上图看出，输出特征图的大小由原来的 4×4 减小到 3×3。但在图像分割、 图像去噪等应用中对像素点进行密接预测时，要求经过卷积层之后输入输出的特 征图大小保持不变，从而避免输出特征尺寸不断下降造成无法训练更深网络的情 况，有助于得到更好性能和更高分辨率的特征图。为了解决这个问题，对输入到卷积层中的特征图进行零填充，通过控制零填充的个数得到想要的输出特征图 大小，计算输出特征图大小如式所示：

2、池化层

 池化层主要用于降低经过卷积层后特征图的大小。池化层的作用包括：（1） 减少网络训练的参数数量；（2）防止网络过拟合现象的发生；（3）增加感受野； （4）加强图像的特征不变性，忽略一些特征位移引起的误差。

特征图输出的大小为计算如式所示：

在卷积神经网络中，最大池化和平均池化是比较常见的两种池化方式，最大 池化和平均池化分别是取接受域内最大的值和所有值的平均，它们的正向传播过 程如图所示。

最大池化：

 平均池化：

 最大池化和平均池化的反向传播如图所示。图a是把该值传到前 一层的原来的位置，将其它位置补 0。图b是把该值平均分配到前一层， 保证池化前后的特征值之和保持不变。

3、激活函数  

神经网络为了更好的学习特征之间的映射，通过引入激活函数增加深层神经 网络的表达能力。常用的激活函数分别是 sigmoid函数、ReLU函数、PReLU 函数。

（1） sigmoid 函数 sigmoid 函数将实数作为输入，输出范围在[0,1]之间，而且单调递增，比较容 易优化。它的定义如式所示。

 sigmoid 函数求导比较容易，可以直接推导得出，求导公式如式所示：

如图所示，sigmoid函数的输入值趋近 时，它的梯度会接近于0， 当进行深度卷积神经网络的训练时会产生梯度弥散，出现网络权重收敛比较缓慢 的现象。

 （2）ReLU 激活函数

目前 ReLU 是最常用的激活函数，其定义如式所示。

如图所示，当输入值x <0 ，ReLU 的输出将一直是 0；当输入值x >0 ， 输出一直都是正数。ReLU 可以解决由于初始化权重不合适而引起的梯度消失和 梯度爆炸。另外，由于 x <= 0 时，ReLU 的输出一直是 0，可以减少参数之间的依 赖关系，缓解过拟合现象。

（3）PReLU 激活函数

为了解决x <=0 时，ReLU 出现神经元“死亡”的现象，提出了 PReLU 激活函 数。它是一种带参数的 ReLU，其定义如式所示。

 如图所示，PReLU 激活函数是将所有小于零的值引入了一个可以随计算 改变的非零斜率，使得函数的输出不会降低到零，减少了神经元“死亡”问题的 发生。

4、上采样层  

卷积神经网络通过卷积和池化操作会使原始的图像尺寸缩小，降低分辨率。 如果是要求输出的预测图与原始输入图像的尺寸大小相同的任务时，一般的网络 都会利用上采样层来增加特征图的大小，上采样层比较常用的是反卷积操作， 原理如图所示。

卷积神经网络训练过程

1、前向传播和反向传播  

卷积神经网络训练的目的是计算神经网络的误差，然后通过误差值对网络 的参数进行更新，主要包括前向传播和反向传播两个过程。

（1）前向传播

前向传播是将图像输入到网络中，通过卷积层、池化层、上采样等操作后计 算出预测的类别结果的过程。具体过程如下式所示。

 （2）反向传播

在反向传播过程中，根据前向传播得到的误差更新网络中的参数值，不断迭代这个过程直到网络收敛。

2、优化算法  

优化算法主要是通过调整网络参数，使输出值能够更加接近输入值，减小误 差。常见的优化算法是随机梯度下降法和 Adam 优化算法。

遥感图像语义分割方法  

1、FCN  

2015 年，FCN 的提出在语义分割领域具有重大的意义。典型的 AlexNet、 VGGNet 等网络将固定大小的图像作为输入并产生非空间特征图，再通过 softmax 层进行分类，造成空间信息的损失，不利于对语义分割的像素级进行密集预测， FCN 在网络的末尾使用反卷积层来解决这一问题。但使用反卷积层会导致输出的 细节信息有限，FCN-8s 和 FCN-16s 通过将低层特征与深层的特征相结合，减少信 息的损失，结构如图所示。

2、U-Net  

为了得到更好的分割结果，语义分割在保留深层特征的同时对于低级特征的 关注也是非常重要的。为了解决这一问题，Ronneberger 等人提出了 U-Net 方法， U-Net 结构如图所示。

3、U-Net++

U-Net 的改进结构 U-Net++[，在 U-Net 的基础上使用密集 的跳跃连接，将网络中所有层的特征连接到一起，使得深层特征和浅层特征进行 充分的融合，减少编码器和解码器之间的信息丢失。U-Net++的模型结构如图所示。

4、Attention-U-Net  

2019 年，Alom 等人提出了 Attention-U-Net 方法，将注意力机制模块应用 在 U-Net 的编码器和解码器之间。传统的 U-Net 只是把池化层的输出特征直接通过跳跃连接与上采样层进行融合，而 Attention-U-Net 使用注意力机制模块对池化 层得到的特征进行处理后再与上采样后的特征进行融合，注意力机制模块能够让 网络自动关注不同形状和大小的目标结构的重点特征，使 U-Net 网络能够更好识 别图像复杂的目标信息，提高整个网络的分割结果。Attention-U-Net 的结构如图所示。

二、基于残差融合和多尺度上下文信息的遥感图像语义分割方法

残差融合

 U-Net整个编码和解码结构中一共只包含了18个卷积层，网络层次比较浅， 导致编码结构只能提取低层次的信息，不能获取更多的高层次语义信息，影响最 终的语义分割结果。U-Net的普通单元和ResNet的残差单元结构如图所示。

 相对于 U-Net 中的普通单元，增加了一个跳跃连接，不仅促进网络的训练，还可以叠加低层次的空间信息特征和高层次的语义特征。受到 ResNet 中残差单元的启发，提出了残差融合模块（Residual Fusion Module, RFM），增加 U-Net了网络深度的同时避免梯度消失等问题。RFM结构如图所 示。

多尺度上下文信息

1、特征金字塔  

特征金字塔（Feature Pyramid Networks, FPN）所有的层次都含有高级语义信 息。FPN 的结构如图 所示：

2、增强的空洞空间金字塔池化

 遥感图像的典型特征是目标具有多尺度特性，即相同图像在不同大小感受野 获取的特征不同。空洞卷积在不增加参数的前提下增大感受野，能够灵活地调整感受野的大 小来捕获多尺度信息。空洞卷积的计算如式所示。

 在ASPP模块中就使用了多个不 同扩张率的空洞卷积，提高了分割精度，ASPP如图所示。

在ASPP的基础上，提出了增强的空洞空间金字塔池化（Enhanced Atrous  Spatial Pyramid Pooling, EASPP），以获取更多的特征和多尺度信息。EASPP结构 如图所示：

MCU-Net 网络结构

一种能够捕获多尺度信息的方法MCU-Net，MCU-Net加入了RFM、 FPN和EASPP模块。与原始的U-Net相比，MCU-Net首先通过一个自下而上，自上 而下的结构得到不同层次的特征图，然后使用RFM模块替换U-Net中的普通单元 加深网络，最后在U-Net的编码器和解码器之间加入EASPP模块获取更加精细的 多尺度特征信息。

 MCU-Net的网络训练包括前向传播和反向传播。前向传播是利用MCU-Net网 络中的卷积层提取特征，池化层和ReLU激活函数对卷积层的输出特征进行降维 和非线性激活，生成预测的标签图，然后计算出与真实图之间的误差。MCU-Net的训练过程如图所示。

三、基于注意力机制和边缘检测的遥感图像语义分割方法

1、注意力机制优化模块  

注意力机制模块可以从图像中忽略一些不相关的信息去投入更多的注意力给 需要关注的目标，获取图像中更多的细节信息，大大提高了目标识别的效率和准 确性。

注意力机制优化模块（Attention mechanism  optimization module, AM），是通过对注意力机制的改进，进一步提高网络的分割能 力，AM 的结构如图所示。

边缘检测  

图像的边缘是识别整个场景非常重要的一个特征，本文在网络中增加边缘检 测分支，利用 Canny 算法得到目标的边缘特征，通过特征融合的方式对主路径的 特征信息进行边缘信息补充，减少目标漏检和误检的情况。Canny 算法的具体 流程如图所示。

FReLU 激活函数

虽然激活函数可以提供网络的非线性建模能力，但是 ReLU 和 PReLU 激活函 数对空间信息不够敏感是阻碍计算机视觉领域发展的一个主要原因。因此，使用了一种二维的激活函数 FReLU，通过规则的卷积提取物体的空间布局高网络对复杂目标的分割能力。FReLU 的定义如式所示：

 FReLU 的特点是使用T（x）实现二维空间条件，通过参数池化窗口建立空间依 赖性，它是使用深度可分离卷积来实现，增强卷积神经网络对不规则和详细对象 的解析能力。 如式所示。

与 ReLU 和 PReLU 相比，FReLU 是先建立空间依赖性再分别进行非线性变 换。FReLU 通常使用卷积函数来提升像素之间的空间依赖性，实现像素级复杂视 觉信息的捕获，更能够提升激活函数在计算视觉语义分割任务中的精度。FReLU 如图所示。

DAMCU-Net 网络结构

通过对注意力机制、边缘检测和 FReLU 激活函数结构的分析和研究，对 MCU-Net 算法进一步改进，提出了 DAMCU-Net 网络，结构如图所示。

实现效果图样例

遥感图像语义分割:

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后