An Improved Res-UNet Model for Tree Species Classification Using Airborne High-Resolution Images论文理解

    该部分内容仅为自己学习所用，仅代表个人理解。

     该论文是北京林业大学林学院张晓丽教授团队在树种分类深度学习模型上取得重要进展。张晓丽教授是北京林业大学林学院地图学与地理信息系统学科教授，研究方向主要为林业遥感与信息化、资源监测与信息化管理、地理信息技术集成与应用。联系方式为： 邮箱：[email protected]; 电话: +86-010-62336227 (XL.Z.)

     作者提出了一种基于深度学习的树分类方法。该方法将语义分割网络U-Net和特征提取网络ResNet组合成一个改进的Res-UNet网络，改进点为（1）U-Net网络的卷积层由ResNet的残差单元表示，（2）使用线性插值代替每个上采样层中的反卷积，（3）在网络的输出中，使用条件随机场（CRF）进行后处理以优化树种分割图的方法。并通过充分的对比实验验证了改进点对实验结果的优良影响。作者其它贡献还包括制作了一批树种数据集，但还未公开。

   以下部分为文章翻译。

      An Improved Res-UNet Model for Tree Species Classification Using Airborne High-Resolution Images

                                  使用机载高分辨率图像的树种分类的改进Res-UNet模型

摘要：树种分类对森林资源的管理和可持续发展具有重要意义。传统的面向对象的树种分类方法（例如支持向量机）需要手动选择特征并且通常精度较低，而深度学习技术可以自动提取图像特征以实现端到端分类。因此，本研究提出了一种基于深度学习的树分类方法。该方法将语义分割网络U-Net和特征提取网络ResNet组合成一个改进的Res-UNet网络，其中U-Net网络的卷积层由ResNet的残差单元表示，并且使用线性插值代替每个上采样层中的反卷积。在网络的输出中，条件随机字段用于后处理。该网络模型用于对中国广西南宁高丰林场的航空正射影像进行分类实验。然后将结果与U-Net和ResNet网络的结果进行比较。 所提出的方法具有更高的分类精度，总分类精度为87％。因此，该模型可以有效地实现林木树种的分类，为我国南方林木树种的分类提供新的机会。

关键词：树种分类；  Res-UNet； 正射影像；条件随机场

1.简介

        树种分类对于可持续森林管理和生态环境保护具有重要意义[1]。高空间分辨率的遥感图像由于具有更好的空间特征，因此优选用于详细的树分类。

      近年来，高分图像分类方法取得了重大进展，这些方法通常以基于像素的分类[2-4]或面向对象的分类[5-8]为特征。基于像素的分类方法使用像素作为分类单位。他们主要考虑像素的波段光谱强度信息，而忽略空间结构关系和上下文语义信息[9]。对于带宽较小的高分辨率遥感影像，基于像素的方法将导致空间数据的大量冗余，从而产生“盐和胡椒”效果。许多学者将人工特征提取与传统的面向对象方法相结合来进行树种分类。 Immitzer等[10]使用树冠的人工划定的阳光照射区域的光谱进行了随机森林分类（基于对象和基于像素），对10种树种进行分类的总体准确性约为82％。Li等[11]探索了Bittemporal WorldView-2和WorldView-3图像的潜力，使用基于对象的支持向量机和随机森林方法确定五种主要的城市树种。Ke等[9]使用三种分割方案，以基于对象的方法评估高空间分辨率多光谱图像和低张贴密度LiDAR数据在森林物种分类中的协同使用，并且协同使用改善了森林分类。但是，这些方法需要手动选择特征，这是主观的，因此使高质量特征的提取变得复杂[12-14]。随着深度学习的发展[15]，越来越多的研究人员正在使用神经网络自动提取特征，从而消除了手动选择特征的需求[16-18]。

    自2006年Hinton提出[19]以来，深度学习理论已在场景识别，物体检测和遥感图像分类中取得了重大进展[20-25]。最有代表性的体系结构是卷积神经网络（CNN），它是一个多层神经网络，其设计源自对子区域的概念以及对哺乳动物视皮层的研究揭示的层次分析[26]。 可以从特征图获得深层，例如纹理，边界和拓扑结构，从而在ImageNet和PASCAL VOC（模式分析，统计建模和计算学习视觉对象类）数据集的分类任务中获得较高的分类评分[27]。He等[28]提出了一种结合显着性和多层CNN的方法来对UC Merced 21和武汉7的两个高分图像场景数据集进行分类。Zhang 等人[29]将CNN的多个完全连接的层堆叠在一起，以提取多尺度卷积特征并在高分图像中执行飞机目标检测。此外，汗等[30]通过改进的CNN网络解决了针对高分图像的多标签场景分类问题。在树种分类领域，使用改进的CNN进行树种分类变得很普遍。Sun等[31]修改了三种不同的深度学习方法（即AlexNet，VGG16和ResNet50）以对树种进行分类，因为它们可以充分利用空间上下文信息，并且VGG16具有最佳性能，18种树的总体准确性为73.25％。哈特林等[32]使用密集卷积网络（DenseNet）进行树种分类，并使用具有高空间分辨率多光谱图像和LiDAR数据集的数据融合方法，研究了其在高度复杂的城市环境中对优势树种进行分类的能力。

      通常，CNN网络将在卷积层之后连接几个完全连接的层，并将由卷积层生成的特征图映射到固定长度的特征向量[33]。通用的CNN结构适用于图像级别的分类和回归任务，因为它希望最终对输入图像进行分类。但是，遥感图像树分类的期望输出是与输入图像大小相同的分类图。为了解决这个问题，Long等[34]在2015年提出了全卷积网络（FCN），并解释了其在语义分割中的应用。Ronneberger等[35]改进了FCN并提出了U-Net网络。许多后续的分类研究都基于FCN网络的思想。方等[36]将FCN应用于高分辨率遥感影像的分类；他们的结果表明，FCN可以更好地获取图像中地面特征的基本特征。此外，均值漂移分割算法可用于优化获得的概率图结果的边缘并提高分类精度。Fu等[37]提出了一种基于改进的FCN模型的高分辨率遥感影像的准确分类方法。平均精度，查全率和Kappa系数分别为0.81、0.78和0.83。Flood 等[38]手动标记3波段Earth-i影像中是否有树木或大灌木，并使用U-net神经网络架构来绘制澳大利亚昆士兰州树木或大灌木的存在与否。

       但是，在对遥感图像中的树种进行分类时，FCN不考虑像素之间的空间关系。此外，它缺乏空间一致性，无法提取更多有用的空间和光谱特征[34]。所获得的树种结果不够准确，图像的空间细节分辨率较低。因此，对于复杂的特征信息，分类任务的准确性并不令人满意。U-Net网络可以将通过下采样获得的基础空间特征与通过跳跃连接输入的上采样相结合以提高其获取树边缘信息的能力。但是，梯度下降通常在网络加深过程中发生。ResNet网络具有独特的残差单元，可以避免在网络加深过程中梯度下降[39]。将其引入U-Net网络已成为当前的研究热点。一些学者在单目标提取和城市土地分类领域进行了相关研究。Chu等[40]提出了一种基于U-Net的方法，该方法使用ResNet代替了收缩部分进行海域分割。徐等[41]设计了一种基于深度残差网络的图像分割神经网络，并使用导引滤波器在遥感影像中更有效地提取建筑物。张等[42]提出了新颖的多尺度深度学习模型，即ASPP-UNet和ResASPPUNet用于基于超高分辨率卫星图像的城市土地覆盖分类，而ResASPP-UNet产生了最高的分类精度。

但是，以前的研究主要是通过结合U-Net和ResNet进行简单的二进制分类，并且网络结构相对简单。其他研究主要针对城市土地利用分类问题，因此对复杂森林类型的树种进行分类的能力尚不清楚。树种之间的光谱特性差异很小的问题给树种分类带来了挑战。因此，本研究的主要目标包括：结合U-Net和ResNet并提出适合于树种分类的Res-UNet网络。将U-Net的卷积层替换为ResNet的基本单元，该单元用于提取多尺