论文学习（八）：10-Minute Forest Early Wildfire Detection: Fusing Multi-Type and Multi-Source Information vi-CSDN博客

本文链接：https://blog.csdn.net/qq_51976293/article/details/142334535

论文题目：10-Minute Forest Early Wildfire Detection: Fusing Multi-Type and Multi-Source Information via
Recursive Transformer（10分钟森林野火早期探测：基于递归Transformer的多类型多源信息融合）
论文目的：本研究利用Himawari-8/9卫星的近实时数据，实现了10分钟森林野火早期探测。研究中提出了一种递归的Transformer模型，其融合了Himawari-8/9卫星的多类型、多源信息，利用了火灾像元的光谱、时空特征，结合土地覆盖信息，降低了云和地形等干扰因素，实现了分钟级、近实时的森林野火检测。在21个真实森林野火场景和modis交叉验证数据集中，本研究提出的方法在整体火灾探测精度、早期火灾探测率、漏报率和实时性等方面均优于JAXA野火产品。此外，该框架有效缩短了森林野火早期检测的应急响应时间，从而减少了森林野火造成的损失。

1.Introduction

目前，39颗极轨卫星和地球静止卫星主要用于森林野火探测。MODIS、AVHRR、VIIRS等40颗极轨卫星可获取100米空间分辨率的遥感影像，但这些极轨卫星往往时间分辨率较低，不能满足近实时野火探测的要求。而Himawari-8/9这样的地球静止卫星虽有较低的空间分辨率（500m~2km），但却有较高的时间分辨率（10min）、多波段（16个波段）的优点，这为近实时的森林野火探测提供可能。根据信息类型，现有的基于遥感卫星的森林野火探测方法可分为基于空间信息的方法、基于光谱信息的方法和基于时间信息的方法：

基于空间信息的方法：分析目标像元与背景像元（背景像素是指区域窗口内目标像素周围的像素）空间统计特征的差异，通常基于阈值将目标像素分为火点或非火点。总体而言，基于空间信息的方法在大规模野火探测中具有优势，但在稳定性和小规模或早期火灾探测方面仍然存在局限性。
基于光谱信息的方法：此类方法往往依赖不同波段的变化，如温度、烟雾的变化。总体而言，基于光谱信息的方法通常需要大量的先验知识，且难以选择最优的野火检测阈值参数，此外，在云层条件下，传感器接收到的信息可能会受到干扰。
基于时态信息的方法：这类方法主要分析如何利用历史时间序列数据预测真实的背景亮度温度并设置合适的阈值，因为当亮度温度发生变化时，往往伴随山火的发生。然而，由于云的影响，历史时间数据可能是不连续的，这极大阻碍了背景亮度温度的估计。

本文开发了一种分钟级森林早期野火探测的方法，此框架融合了104种多类型信息，适用于Himawari-8/9卫星，创新点如下：

1.利用地球静止卫星数据的时间、空间和光谱等多类型信息，它克服了现有野火探测方法只能使用单一或双重类型信息的局限性，它还有效地减轻了云、雾等干扰因素。
2.引入土地覆盖产品来考虑多源异构信息，以区分不同的地表类型，这消除了不可燃元素的影响，从而提高了野火探测的准确性和鲁棒性。
3.构建了一个递归的Transformer模型，可有效地挖掘火点的全局和上下文特征。与传统的递归模型不同，每个时间步长的输出用于更新下一个时间步长的输入。此外，该模型可以实现10分钟级别的森林早期野火检测，在有限样本的情况下显著减少了时间消耗。

2.Data Description

2.1Himawari-8/9 Satellite AHI Data

Himawari-8/9卫星是第三代地球同步卫星，旨在提供近实时的地球观测数据，有16个波段，包括个可见光波段、3个近红外波段和10个红外波段。可见光波段的空间分辨率为0.5 km，近红外和红外波段的空间分辨率为1或2 km。全盘观测频率为每10分钟一次。本研究使用了Himawari-8/9卫星的HSD和NetCDF4数据，在数据处理过程中，第7波段对地表温度变化敏感，而第14波段对地表温度变化不敏感。因此，我们使用第7和第14波段的亮度温度数据作为森林野火探测的主要数据。

2.2MODIS Land Cover Products

不同土地覆盖类型表现出不同程度的可燃性，这是影响野火发生的一个重要因素。利用MODIS reprojection Tool (MRT)软件对MODIS产品数据进行拼接和重投影，下载了中国地区L3全球5亿年土地覆盖数据。最后，应用降采样将这些土地覆盖产品与Himawari-8/9数据对齐。

3.Methodology

3.1Overview

热源在第7、14波段的辐射反射特性不同，野火首次发生时，热源在第7波段火像元亮度温度会显著升高，而在第14波段的变化相对平缓，故根据第7和第14波段的差值计算光谱特征、对第7波段在不同时间亮度温度进行微分得到时间特征、计算目标像素与背景窗口之间的方差获取空间特征。除此之外，考虑土地覆盖产品的异构信息，消除不可燃材料像素的影响。最后根据野火的类型，将这些归一化后的数据输入递归的Transformer模型中训练。流程如下：
在这里插入图片描述

早期提出的分级森林野火探测流程图

3.2Multi-Type and Multi-Source Information

森林野火常发生在易燃地区，通过引入土地覆盖类型信息可消除不可燃地区，减少误报。其次，Himawari-8/9的第7波段火像元的时间序列曲线在野火早期通常有显著的变化，故结合时间信息可以提高早期火灾像素的检测精度。并且，野火发生时，火灾像元与邻域像元在第7波段通常存在明显温度差，可以利用空间信息来区分火像点和非火像点。具体说明如下：

土地植被信息：本研究使用MODIS植被覆盖产品（空间分辨率为500m），含10种不同土地类型，由于与Himawari-8/9数据空间分辨率不一致，故通过马赛克重投影和降采样操作进行处理，使数据空间分辨率降为2km。
空间信息：选取与目标像元有相同土地覆盖类型的邻域像元，并求出第7波段上目标像元与邻域像元的平均亮度温度之差。计算公式（ $N_b$ 表背景像素数， $t$ 表当前时间）：

在这里插入图片描述

时间信息：建立第7波段的连续时间序列亮度温度曲线，并计算当前时刻与前时刻亮度温度的时间差。其中， $(x, y)$ 表目标像素， $BT_i$ 表示第i波段的亮度温度值：

在这里插入图片描述

光谱信息：得到目标像元在第7、14波段的时间序列亮度温度值。计算光谱差

在这里插入图片描述
建立了时间信息TI、空间信息SP和207光谱信息OS。其中，𝑇𝐼={𝑇𝐼1，…，𝑇𝐼𝑡}，𝑆< 0.05 > ={𝑆𝑃1，…，𝑆< <𝑡}，𝑂𝑆={𝑂𝑆1，…，𝑂𝑆𝑡}。然后，分别对这些时间、空间和光谱信息进行归一化处理。然后，将这些信息转换成时间序列向量。标准化程序操作如下：
在这里插入图片描述
其中，X代表{𝑇𝐼、𝑆、𝑂𝑆}。Min(𝑋)和max(𝑋)分别是时间序列曲线的最小值和最大值。 $ε$ 这是一个很小的参数，用来防止被零除，𝑋’是标准化后的值。

3.3Recursive Transformer Model

传统的Transformer模型直接从原始值预测后续长时间序列的数据，而本研究中创新性采用迭代的Transformer模型进行预测。首先预测当前时刻的值，用得到的预测值覆盖当前时刻的实际值。然后迭代增加时间步长，调用模型预测下一时刻的值。这样可以消除实际异常值对后续时间序列预测的影响，大大提高时间序列预测的可靠性。与传统方法相比，迭代Transformer模型在处理火灾监测数据时具有更高的适用性和准确性，并且可以有效地融合多种数据。总体结构如下：
在这里插入图片描述
包含了一个窗口编码层、一个上下文编码层和两个解码层，可以从输入数据中提取时间序列特征，并在下一时刻输出预测信息。其中，W为输入窗口数据。K表示窗口233的长度。窗口数据表示如下：

模式将输入的时间序列数据 $X^{'}$ (预处理后得到的时间序列数据)转换为滑动窗口数据 $W=\{W_1,W_2,...,W_t\}$ 。考虑时间片直到一个序列 $X^{'}$ 的当前时间戳t（设为 $C_t$ ），若t小于k，则用窗口的最后一个值填充它。之后将多变量序列W和C转换为一个矩阵，维数为时间步长，特征数为m。Q（query）、K（key）和V（value）三个矩阵的标量点积定义为：
在这里插入图片描述
其中，点积被缩放（除以比例因子 $\sqrt{m}$ ）以减小权值的方差。通过将每个值和权重相乘，我们将它们相加得到最终的输出向量。对于输入矩阵Q, K和V，我们使用多头自注意机制。通过将它们传递给前馈层得到 $Q_i、K_i、V_i$ ，其中 $i∈{1,2,...,h}$ 。并将缩放后的点积作为：
在这里插入图片描述
多头注意机制允许模型对不同位置的不同表征子空间的信息进行注意。
之后，递归Transformer模型通过两个阶段进行时间序列预测：

1.将W, C和焦点分数F(一个初始零矩阵)作为输入，用适当的零填充广播矩阵F以匹配W的维度，并将二者连接起来。这一步使用零填充来更新矩阵F。接下来，对上面的结果应用位置编码，并获得第一个编码器的输入，表示为 $I 1$ 。第一个编码器执行以下操作：

在这里插入图片描述
上述操作使用输入时间序列窗口和完整序列生成注意力权重值，以捕获输入数据的时间特征。对于窗口编码器，递归Transformer模型对输入窗口W应用位置编码，以获得编码器 $I 2$ 。

第二编码器执行以下操作：

在这里插入图片描述

最后使用两个相同的解码器 $O_1$ 和 $O_2$ 执行：

在这里插入图片描述
利用Sigmoid()激活函数生成与输入窗口W匹配的输出值。综上所述，递归Transformer模型的输入值为W和C，输出值为𝑂1和𝑂2。
为保证训练的稳定性，设计了一个对抗性训练方案，使用两个独立解码器的输出。使用𝐿2范数和第一阶段的输出来定义每个解码器的重构损失：
在这里插入图片描述
在第二阶段，使用第一编码器的重建损失作为焦点分数，第二解码器的输出值为 $\hat{O_2}$ 。第一解码器的目标是使自条件输出的重构误差最小化，而第二解码器的目标是使自条件输出的重构误差最大化。因此，基于第一阶段的输出结果，建立两个解码器的训练目标如下：
在这里插入图片描述
损失函数定义如下：

最后，每个解码器的累积损耗在式中确定。在此过程中，递归变压器模型同时采用重构损耗和对抗损耗两个阶段，得到联合损耗函数为：

其中，n为训练次数， $λ$ 为标准参数。
使用递归Transformer分别预测三个时间序列特征，其输出序列为 $X_p=\{TI_p,SP_p,OS_p\}$ 。对于时间t，从 $X + p$ 取这个时间的预测值 $X_p^t$ 。然后计算预测值与实际值的差值，得到异常偏差。最后建立异常判别公式，分别检测森林早期和连续野火点。判别公式定义如下：
在这里插入图片描述
如果三个判别式都满足异常条件，则将其归类为火点；否则，它们被归类为非火点。对于连续的野火点，如果空间特征和光谱特征都满足异常条件，则将其归类为火点;否则，它们被归类为非火点。

4.Experiments and Results

4.1Overview

在本节中，我们将实验分为两部分。第一部分是地面真实火灾场景，在第4.2至4.4小节中，选择了21个明确报告的森林野火案例作为实验场景。第二部分是基于第4.5小节中MODIS火灾产品构建的交叉验证数据集。它使用数千种火灾场景来验证模型的准确性。

第4.2小节：介绍了评估模型性能的指标。
第4.3小节：展示了部分真实火灾场景的视觉检测结果。
第4.4小节：总结了所有21种真实野火场景的检测指标，并将其与日本宇宙航空研究开发机构WLF L2产品、基于多光谱的阈值算法和基于时间光谱的阈值算法共三种算法进行比较。
第4.5小节：基于MODIS交叉验证数据集对模型精度进行了验证。

4.2Hyper-parameter Selection

本研究使用的像素邻域设置为7像素的边长大小，并用来计算空间方差。对于输入长度，所提出的模型从不同时间步长的非火灾时段中选取20个向量序列作为输入。对于每个时间步长，输入值由中心像素及其相邻像素组成。
模型的学习率设置为0.001，批次大小设置为128，轮次为100，学习率下降步长设置为5，下降倍数设置为0.9，窗口长度设置为10。对于所提出的模型中的关键参数 $α 1 、 α 2 、 α 3 、 β 1 、 β 2 、 β 3$ 分别设置为1.2、1、1、5、0、0。

4.34.3 Wildfire Scenarios and Evaluation Metrics

选择21种森林野火作为实验数据，并将实验结果与JAXA WLF L产品（空间分辨率2km，时间分辨率10min）作比较，采用早期火灾准确性（EFA）、总体准确率（OA）、遗漏率（OFA）、误报率（FAR）和早期野火检测的平均延迟时间（ADT）作为评估指标，并使用混淆矩阵显示实际和预测火灾之间的对应关系。
在这里插入图片描述

$EF_{predict}$ ：正确预测的早期野火数量。
$EF_{all}$ ：真正的早期野火数量。
n：实验场景总数。
$t_i$ ：每个场景的早期火灾检测延迟时间，即最早的野火检测时间与实际早期野火发生时间之间的延迟，使用其均值作为ADT的值。

4.4Results of Forest Wildfire Detection

4.4.1Forest Early Wildfire Detection

本研究从总共21种森林野火场景中提出四个具体结果以验证本框架的有效性。
【场景一】2020.3.13 4：30在宁夏固原市原州区马场村二郎沟发生的森林野火。
火灾发生前，时间序列空间方差、时间差异和光谱差异曲线仍平滑，但在4：30左右，三条曲线均发生振动代表发生森林野火。JAXA WLF L2产品虽能检测到发生野火，但只能检测到明显的火灾点，而忽略低温着火点（与JAXA采用的是基于阈值的策略有关）：
在这里插入图片描述
相比之下，本研究所提出的方法能很好检测到所有的火灾点。
【场景二】2017.5.2 4：00左右在内蒙古大兴安岭比拉河林业局北大河林场发生的森林野火。
JAXA WLF L2产品在早期阶段无法检测到任何火灾点，只能在6：00开始检测到森林野火，但此时野火已广泛蔓延。本研究提出的框架却能在火焰开始蔓延时就检测到火灾的发生。检测情况如下图所示：
在这里插入图片描述
【场景三】2023.5.6 10：10 云南省昆明市安宁市青龙镇茶花青发生小规模森林野火

在野火初期，JAXA 373 WLF L2产品并不能检测到起火点（可能是使用了像素邻域算法，小规模野火像素很难超过设定的阈值）。通过融合光谱时空信息和土地覆盖数据，本模型对小规模野火具有良好的检测能力。
【场景四】2019.4.17 5：50 辽宁省沈阳市棋盘山东郊发生森林野火。
在这里插入图片描述
实验结果与场景三类似。

4.4.2Long-Term Forest Wildfire Detection

2023年4月10日 7:55，四川省凉山州西昌市琼海附近的山坡上发生了森林野火。第7波段的长期亮温图像和野火探测结果如图所示。
在这里插入图片描述
在8:00之前，该地区亮温处于正常水平。然而，从8点开始，亮温急剧升高，表明森林野火大约在这时刻发生。在长期的森林野火探测结果中，JAXA WLF L2产品也出现了大量的火点漏失，而本论文提出的方法可以始终如一地探测到绝大多数火点。

4.5Overall Detectoin Results of Forest Early Wildfire

4.5.1Comparison Algorithms

为验证模型性能的优越性，将模型与基于多光谱的阈值算法（MTA）、基于时间谱的阈值算法（TTA）、JAXA产品进行比较。两种算法如下：

基于多光谱的阈值算法（MTA）：利用Himawari-8的3.9𝜇m和11.2𝜇m波段识别潜在热点，使用水掩膜(2.3𝜇m波段)和云掩膜(0.64𝜇m、0.86𝜇m和12.4𝜇m波段)抑制热点的假阳性。可见光波段的低反射率(0.64𝜇m和0.86𝜇m)允许进行夜间识别。识别流程如下：

在这里插入图片描述

基于时间谱的阈值算法（TTA）：引入火灾的时间序列信息，采用非固定阈值，即每张图像前7%的值作为自适应阈值并考虑了多个时间分量，以减少误检。总结了基于时间谱的阈值算法：

4.5.2Result and Analysis

将所提出方法和三种算法(JAXA、MTA和TTA)的整体性能进行比较，对21个场景进行实验分析，共4725个检测像素。相关定量评价指标如下表所示，较好的结果以粗体格式突出显示：
在这里插入图片描述
MTA算法中加入了光谱信息，因此模型的检测精度相较于JAXA产品显著提高，TTA同理。本模型与JAXA产品相比，早期野火探测精度提高了39.84%，主要归因于JAXA 产品中使用的上下文算法，该算法使用来自周围区域的空间信息计算阈值，而上下文算法只将超过阈值的像素视为火灾像素。然而，早期和小规模的火焰像素通常具有较低的亮度温度，使得难以达到设置的阈值，这可能会导致火灾像素的遗漏，降低森林野火探测的准确性。而与本算法作比较时，MTA算法利用了光谱和空间信息，但忽略了时间信息；TTA算法利用了光谱和时间信息，但忽略了空间信息，二者性能均不如集成了光谱、时间和空间信息的模型。
本论文提出的方法综合考虑时间、光谱、空间和土地覆盖信息，建立自适应判别准则，提高了野火的敏感性和泛化能力，其总体精度也超过了JAXA产品。更关键的是，在野火早期检测的ADT方面，JAXA产品ADT达到了15.71分钟，单个场景中发现早期野火的最大延迟甚至超过了140分钟。这是由于低亮度温度和上下文算法的限制，JAXA产品忽略了大多数森林早期野火。相比之下，本文方法在森林的早期野火检测中显示出更高的准确性，并且显示出更好的ADT指数。

4.6MODIS Cross-Validation Dataset

本实验构建了大规模MODIS交叉验证数据集，数据集来源于MODIS活火产品2023.12的整体数据，保留了所有置信度80%以上的火点数据，空间半径为200km，时间跨度为7天。验证结果：
在这里插入图片描述
此外，模型能适应不同的地理区域与气候条件，有强大的可移植性。以MODIS交叉验证数据集为例，对其检测结果进行了可视化处理，如下表所示：

探测结果如下图所示，从第7波段的变化可直观解释该地区的火灾蔓延，同时所提出的模型对于火灾的捕捉也有很高的灵敏度：
在这里插入图片描述

5.Discussions

5.1Analysis of Spectral-Temporal-Spatial Information

下图为云南省昆明市安宁市青龙镇茶花清森林野火的空间变化、时间差异和光谱差时间序列曲线：
在这里插入图片描述
在1：00和5：00，部分曲线出现波动，但所提出的模型并未将其分类为森林野火。这是因为模型集成了光谱、时空信息，只有在这三类曲线同时发生明显变化时才能识别为早期野火点。通过这一综合判断，模型有效地区分了早期野火像元与非火灾像元，同时排除云雾等干扰因素，提高野火探测的准确性和可靠性。
在消融实验中，以2023年4月10日四川省的森林火灾为研究案例。分别从提出的模型中剔除空间和时间信息，然后评估野火检测性能。这些消融实验旨在评估两类信息在野火探测中的重要性，消融实验结果总结如下表所示：
在这里插入图片描述
可见，剔除空间信息后遗漏率（特别是小火灾和低温火灾）显著增加。剔除时间信息后虚警率显著增加，这是因为连续密集的时间信息不仅提供了鲜明的早期火灾特征，而且有助于所提模型区分烟雾或光照变化等偶然事件，从而减少误报警。缺乏时间信息的模型可能难以区分这些偶然事件，导致更高的误报率。。

5.2Analysis of Land Cover Information

考虑土地覆盖类型信息可以更好地消除非火像素，提高了空间特征的质量，从而降低了虚警率，提高了森林野火探测的整体火灾探测精度。以云南省昆明市安宁市森林野火为例，分别使用包含土地覆盖产品和不包含土地覆盖产品的模型进行试验，以评估土地覆盖产品对森林野火检测的有效性。第7波段的亮温度变化及两种模型对应的火点可视化探测结果如下：
在这里插入图片描述
可见，不使用土地覆盖产品的模型在2023年5月6日UTC时间00:10和00:20显示了错误的火点检测，而整合土地覆盖产品后，该模型有效地抑制了虚假火点检测，显著提高了准确性。这一结果充分证明了融合土地覆盖信息对森林野火探测的重要性和有效性。

6.Conclusion

利用Himawari-8/9卫星近实时数据进行10分钟森林早期野火探测。提出的递归Transformer模型融合了多类型和多源信息，且能够同时提取5个像元的光谱、时空特征。实验结果验证了该方法在多种场景下的森林野火早期检测的适用性。与JAXA产品相比，该方法获得了更快、更可靠的结果。在未来的工作中，我们的目标是将地球静止卫星和极轨卫星结合起来，同时利用高时空分辨率数据进行森林野火探测。