基于密集连接的轻量级卷积神经网络，用于使用边云架构的露天煤矿服务识别

遥感是快速检测非法采矿行为的重要技术工具。由于露天煤矿的复杂性，目前关于露天煤矿自动开采的研究较少。基于卷积神经网络和Dense Block，我们提出了一种用于从Sentinel-2遥感图像中提取露天煤矿区域的轻量级密集连接网络-AD-Net，并构建了三个露天煤矿区域样本库在山西省忻州市中北部。AD-Net 模型由两个卷积层、两个池化层、一个通道注意模块和一个 Dense Block 组成。两个卷积层大大降低了模型的复杂度，Dense Block在减少参数计算的同时加强了特征传播。应用程序设计在不同的模块中，这些模块独立运行在不同的机器上并相互通信。此外，我们创建并构建了一个独特的遥感图像服务系统，该系统采用边缘云架构连接远程数据中心及其相关的边缘网络。数据中心充当云平台，负责存储和处理原始遥感图像，边缘网络主要用于缓存、预测和传播处理后的图像。首先，我们通过大量实验找出最佳优化器和输入图像的最佳尺寸，然后我们将 AD-Net 的提取效果与研究中的 AlexNet、VGG-16、GoogLeNet、Xception、ResNet50 和 DenseNet121 模型进行比较区域。实验结果表明，NIR、红色、绿色、蓝色波段合成更适合露天煤矿的开采，AD-Net的OA和Kappa分别达到0.959和0.918，优于其他模型，很好地平衡了分类精度和运行速度. 通过这种边缘云设计，所提出的系统不仅可以在边缘均匀分布处理活动的压力，还可以在边缘之间实现数据效率，降低数据传输成本并改善延迟。

介绍

包括云计算、物联网和更快的网络在内的现代计算技术在现实生活的各个领域都有应用。例如，各个领域收集到的海量数据需要存储在某个地方，需要时进行处理，并采用一定的方法进行监控和管理。地理信息系统也是一个重要的研究领域，技术应用意义重大。矿产资源是人类社会赖以生存的重要物质基础，是国家安全和经济发展的重要保障[ 1]. 我国幅员辽阔，矿产资源丰富，部分地区矿产资源埋藏浅，易于开发。一些不法矿工为了切身利益，不按有关规定对各种矿产资源进行掠夺式开采，有的甚至未经批准擅自占用土地私人开采。这些行为造成了国家资源的流失和生态环境的严重破坏，相关监管部门难以快速发现一些非法采矿行为[ 2 ]。因此，快速、准确地掌握露天矿区的土地利用和破坏情况，对于发现非法采矿行为并及时制止具有重要意义 [ 3 ]。

露天开采可使原有土地形态发生剧烈变化，而非法开采往往为逃避监管而迅速猛烈，这种高强度的露天采煤会对周围环境造成严重破坏。为了更好地及时发现非法采矿活动，许多学者结合遥感影像提取露天矿山信息。由于传统的基于图像元素的分类容易受到“盐和胡椒”现象的影响，因此大多数研究人员采用面向对象的方法来提取露天矿的信息。如第 2 节所述，各种研究工作展示了深度学习技术在遥感图像及其高效处理中的应用。然而，

以上研究表明，深度学习技术在遥感影像中得到了广泛应用，深度学习方法进行识别是推动遥感自动提取方法走向实用化的有效途径。从露天煤矿识别研究中的研究方法来看，基于深度学习技术的露天煤矿遥感图像提取研究不多，主要采用传统的识别方法，但传统的遥感传感自动提取方法存在精度低、泛化性差、效率低、训练时长长、自动化程度高等问题[ 4]]. 我们相信，使用相对未被探索的遥感现代云技术可以帮助存储大量图像并快速训练模型；因此，减少了整体模型延迟和执行时间。

为了解决上述问题，我们提出了一种基于密集连接的轻量级 CNN 模型，以中国山西忻州中北部为研究区域，从 Sentinel-2 卫星图像中提取露天煤矿。我们以这样一种方式使用边缘云基础设施，即提出的应用程序分为不同的模块，即训练和预测，每个模块在不同的节点上独立运行。我们不断在数据集上进行实验，比较模型评估精度，找到输入数据的最优大小和模型的最优超参数。经过详细分析，确定了露天煤矿的最佳抽采范围。最后，我们在 AlexNet [ 5 ]、VGG-16[ 6 ]、GoogLeNet[ 7]、Xception [ 8 ]、ResNet50[ 9 ]和DenseNet121[ 10 ]模型，并比较了每个模型的精度。我们研究的主要亮点和贡献如下所示。

• • 基于卷积神经网络和密集块，我们提出了一种轻量级密集连接网络-AD-Net，用于从Sentinel-2 遥感图像中提取露天煤矿区域。

• • AD-Net 模型由两个卷积层、两个池化层、一个通道注意模块和一个密集块组成。两个卷积层大大降低了模型的复杂度，Dense Block在减少参数计算的同时加强了特征传播。

• • 为边缘云设计了深度神经框架，不同模块独立运行，相互通信，提高处理效率。

• • 此外，我们创建并构建了一个独特的遥感图像服务系统，该系统采用边缘云架构连接许多数据中心及其相关的边缘网络。

本手稿的其余部分结构如下。我们在第 2 节中概述了相关工作和以前的研究。第 3 节中描述了各种模型（深度学习）和材料以及各种方法的概述。第 4 节中描述了所提出的 AD-Net 网络模型。评估参数、实验设置和实证结果在第 5 节中进行了说明。最后，第 6 节总结了这篇手稿，并提供了一些未来的研究领域和进一步调查的方向。

材料

学习区

本论文的研究区域为薛家洼乡及邻近的几个地区。研究区位于山西省忻州市中北部，经纬度范围为112°20′45″～112°41′30″E，38°56′48″～39°08′46″ N（图1）。薛家洼乡属高山寒旱区，温差大，年均气温6.2℃，年均降水量470-770毫米[ 39]. 研究区独特的地质条件使其矿产资源异常丰富。主要矿种为煤和氧化铝，另有铁、锰、石灰石等矿产。煤田主要成分多为石炭系和侏罗系煤，煤炭储量丰富，煤质低灰、低摔、热值高，埋藏浅，易开采，多为露天开采[ 40 ]。

图。1

研究区的简要说明

密集块及其架构

DenseNet 由 Huang 等人提出。该模型借鉴了ResNet的思想，都包含跳转连接结构，不同的是ResNet中层与层是元素的求和，而Densenet中层与层是维度上的串联，因此其网络结构是全新的。DenseNet 最重要的贡献是紧密连接的 CNN，它在网络中使用了大量的 Dense Block（图3 ）。这个神经网络中的任意两层都是直连的，也就是说网络中每一层的输入都是前面所有层的输出的拼接，而这一层学习到的特征直接作为输入传递给后面的所有层.

图 3

dense Block及其结构

提出的 AD-Net 模型

基于现有知识，我们构建了AD-Net（图5)，一个轻量级的密集连接网络，实现露天煤矿的开采。首先，我们使用双层卷积网络来提取特征，其次，我们将卷积层替换为密集块，其中设计了六层卷积，每层的输入是所有层的输出的串联前几层，每一层的输出是确定的通道数。这样的设计数缓解了梯度消失的问题，增强了特征的传播性，大大减少了参数的数量，具有正则化效果，即使在较小的训练集上也能减少过拟合。最后，在特征提取网络之后引入通道注意力模块，使得卷积神经网络更加关注每个通道的信息。

图 5

拟议的 AD-Net 深度学习架构

 

 

 

数据集描述

本文的研究数据来自 ESA 的哥白尼数据中心，该中心提供对 Sentinel-2 数据的免费访问。Sentinel-2 由两颗卫星（A 和 B）组成，分别于 2015 年 6 月和 2017 年 3 月发射。两颗卫星均搭载具有 13 个光谱波段的多光谱成像仪 (MSI)，可提供植被、土壤和水覆盖、内陆水道和沿海地区的图像，也可用于紧急救援服务。在光学数据中，哨兵二号数据是唯一包含红边范围内三个波段的数据，对于监测植被健康信息非常有效。可见光和近红外波段的空间分辨率增加到 10 米和 20 米。一颗卫星的重访期为 10 天，两颗互补卫星的重访期为 5 天。我们在波段 2、3、4 和 8 中使用了 10 米分辨率的 Sentinel-2 LA 数据。L2A 级数据主要包含辐射校准和大气校正的大气底部反射率数据。我们下载了研究区域的 2018 年 Sentinel-2 图像，图像云覆盖率低于 1%。

数据集处理

图2概述了准备数据集的步骤。我们在 ESA 哥白尼数据中心下载研究区域的 Sentinel-2 卫星图像，选择云覆盖较少的图像。下载的卫星图像有 13 个波段，并使用红色、绿色、蓝色和近红外波段生成三个数据集，以确定哪种波段组合更适合露天煤矿的开采。第一个数据集是通过合成红色、绿色和蓝色波段形成的，第二个数据集是通过合成红色、绿色和 NIR 波段形成的，第三个数据集是使用 NIR、红色、绿色和蓝色波段形成的。然后，以Google Earth高分辨率遥感影像为参考，对矿区进行矢量化处理，并转换为与卫星影像格式相同的栅格文件，本文采用的格式为TIFF。数据集中的 Sentinel-2 图像和 shp 文件已根据相同的坐标系进行投影，确保矿区与标签相对应。根据行政区域的shp文件对卫星图和标签图进行裁剪，使得标签图覆盖的区域与裁剪后的卫星图相同。最后，将裁剪后的卫星图像和标签图像切片输入到模型中。

图 2

数据预处理和各种步骤

用于分布式 CNN 模型的边缘云

边缘云平台用于实现智能应用的各个阶段，如图6所示。边缘平台负责对收集到的数据进行预处理，然后将其发送到远程云端进行存储和训练。图7讨论智能应用的两个重要模块，即通道注意力模块和空间注意力模块如何在边缘云基础设施上实现，以便数据可以在本地处理，并且只将基本数据用于训练目的。这有助于减少训练时间和应用程序延迟。预测发生在边缘节点，而模型训练以分布式 AI 方式发生在远程云。事实上，整个应用程序被设计成两个不同的模块，即模型训练和模型预测。由于大量图像及其特征，两个模块相互通信，而训练在远程云端进行。同样，预测模块在边缘节点上运行，并使用经过训练的模型来获得结果。尽管如此，

图 6

提出的边缘-云深度学习架构

全尺寸图片

结果与讨论

本研究中的所有实验都是在配备 24 GB 内存和 Windows 10 操作系统的 GeForce RTX 3090 服务器上使用 TensorFlow（版本 2.8.0）框架实现的。对于每个数据集，非挖掘像素均大于挖掘像素，为了平衡正负样本，在正样本像素的基础上选取等量的负样本，训练集与训练集的比例验证集是 6:4。为了使模型达到最佳精度，对模型进行了各种实验，实验分为两个主要部分：

• 第一部分：确定输入数据的最佳切片大小和模型的最佳优化器。

• 第二部分：最优模型与先进的CNN和RNN模型进行比较，使用Recall、Precision、F1、OA和kappa作为评价指标。

切片实验

输入网络的切片大小对训练结果有影响，因为图像特征因图像尺度而异。图像越大，它具有的纹理和上下文信息就越多，它可以捕获的重要特征也就越多。此外，当图像变大时，可以更好地获得一些判别性特征。然而，当尺寸变得足够大时，分类性能可能不再提高甚至降低，并且计算量相应地变得更大。本实验研究区Sentinel-2图像和shp文件大小为3001×2205，分别切成9×9、17×17和33×33大小的切片。表1、2和3 _ _显示AD​​-Net基于三个数据集的评估结果，包括Recall、Precision、F1-Score、OA和Kappa。

不同CNN模型的比较

基于切片实验和参数实验选择最优切片和最优优化器，另外分别比较切片大小相同、优化器相同的三个数据集的OA和Kappa值，不难看出数据集 3 的实验结果优于其他两个数据集。这意味着近红外、红绿蓝波段的组合更适合10 m空间分辨率卫星图像中露天煤矿的提取

在数据集 3 上比较模型的精度、OA 和 Kappa 指标以及建议的模型

全尺寸图片

结论和未来的工作

针对Sentinel-2影像中露天煤矿提取任务创建了三个数据集。提出了一种基于 CNN 和 DenseNet 的轻量级密集连接模型 AD-Net。对于这个模型，最佳切片大小和优化器是通过大量实验确定的。为了更好地从Sentinel-2数据中提取露天煤矿，研究了Sentinel-2卫星波段的最佳组合，发现NIR、红绿蓝波段合成优于红绿蓝波段合成， NIR、红色和绿色波段合成。所提出的模型与其他 CNN 模型进行了比较，包括 AlexNet、VGG-16、GoogLeNet、Xception、ResNet50 和 DenseNet121。实验结果表明，Recall、Precision、

为了提高检测精度，可以加入一些图像预处理方法，如去模糊，增加此类训练样本的数量，以提高检测精度。未来，我们希望细化提取露天煤矿的任务，以从图像中提取更多信息，例如采矿点、排放点和边帮。同样，我们还将调查各种网络激活函数对取得的结果和发现的影响。我们将研究一些数据预处理方法，这些方法可以减少收集数据的冗余，以便仅存储重要数据并将其用于训练目的。这将显着减少模型训练和预测的持续时间。此外，它将减少网络流量，从而提高网络性能。