深度CNN的火灾识别与定位

K. Muhammad, J. Ahmad, Z. Lv, P. Bellavista, P. Yang and S. W. Baik, “Efficient Deep CNN-Based Fire Detection and Localization in Video Surveillance Applications,” in IEEE Transactions on Systems, Man, and Cybernetics: Systems, vol. 49, no. 7, pp. 1419-1434, July 2019, doi: 10.1109/TSMC.2018.2830099.

深度CNN的火灾识别与定位

前言

火灾探测可分为两大类：传统火灾报警和；视觉传感器辅助火灾探测。传统的火灾报警系统基于需要近距离激活的传感器，如红外和光学传感器。这些传感器不太适合关键环境，在发生警报时需要人的参与来确认火灾，包括访问火灾位置。此外，此类系统通常无法提供有关火灾大小、位置和燃烧程度的信息。为了克服这些局限性，本项目系统可以在不需要访问火灾位置的情况下确认火灾，并可以提供有关火灾的详细信息，包括火灾的位置、大小、程度等。尽管这些系统具有这些优点，但这些系统仍存在一些问题，如观察到的场景的复杂性、不规则的照明，以及低质量的帧；研究人员已经做了一些努力来解决这些方面，同时考虑到颜色和运动特征。为了解决上述问题，本项目研究了一种基于卷积神经网络（CNN）的深层特征在监控网络中的早期火灾探测。

网络结构

本项目为避免了传统手工制作火灾探测功能的耗时工作，并探索了室内监控网络早期火灾探测的深度学习架构。我们使用一个结构类似于SqueezeNet的模型，根据我们的目标问题进行了修改。原始模型是在ImageNet数据集上训练的，能够对1000个不同的对象进行分类。然而，在我们的例子中，我们使用这种架构来检测火灾和非火灾图像。这是通过将最后一层的神经元数量从1000个减少到2个来实现的。通过保持架构的其余部分与原始架构相似，我们旨在重用这些参数，以更有效地解决火灾探测问题,我们的算法在火灾的早期检测中可以起到至关重要的作用。该模型由两个规则卷积层、三个最大池层、一个平均池层和八个称为“fire模块”的模块组成，输入的是224×224×3像素的彩色图像。在第一卷积层，将64个3×3大小的滤波器应用于输入图像，生成64个特征映射。这64个特征映射的最大激活由第一个最大池层选择，其步长为两个像素，使用3×3像素的邻域。这样可以将特征图的大小缩小两倍，从而保留最有用的信息，同时丢弃不太重要的细节。接下来，我们使用两个128个过滤器的消防模块，然后是另一个256个过滤器的消防模块。每个火力模块还包括两个进一步的卷积、压缩和膨胀。由于每个模块由多个滤波器分辨率组成，并且在Caffe框架中没有对此类卷积层的本地支持[36]，因此引入了一个扩展层，每个fire模块中有两个独立的卷积层。第一层卷积包含1×1个滤波器，第二层包含3个×3个滤波器。这两个层的输出在通道维度中连接。在三个fire模块之后，还有另一个max pooling层，其操作方式与第一个max pooling层相同。在512个滤波器的最后一个fire模块（Fire9）之后，我们根据感兴趣的问题修改卷积层，将类数减少到两个[M=2（fire和normal）]。该层的输出被传递到平均池层，该层的结果直接输入到Softmax分类器中，以计算两个目标类的概率。

火灾识别与定位

我们用不同的参数设置训练不同的模型，经过微调过程，得到了一个在不同条件下，在室内和室外场景下，能够远距离、小范围探测火灾的最优模型。
另一个激励因素提出的深层CNN是避免预处理和特征工程，这是传统火灾探测算法所需要的。为了测试一个给定的图像，它通过deepcnn发送，它给输入图像分配一个“fire”或“normal”标签。这个标签是根据网络计算的概率分数来分配的。以较高的概率得分作为输入图像的最终类别标签。图2给出了一组样本图像及其预测的类标签和概率分数。为了在样本图像中定位火灾，我们使用图3中给出的框架。首先，从我们的深层CNN得到了一个预测。在使用算法1分析了我们提出的CNN不同层的所有特征映射后，“Fire2/Concat”层的特征映射8、26和32对火灾区域敏感，适合火灾定位。因此，我们融合了这三个特征映射并应用二值化来分割火焰。图4给出了一组带有分割区域的火灾图像样本。分段火灾用于两个进一步的目的：1）确定被观察场景的严重程度/燃烧程度；2）从输入的火灾图像中找到影响区域（ZOI）。燃烧程度可以由分段火焰中的像素数确定。ZOI可以通过从原始输入图像中减去分割的火焰区域来计算。生成的ZOI图像随后从最初的squezenet模型[35]传递过来，该模型从1000个对象中预测其标签。对象信息可用于确定场景中的情况，例如房屋、森林或车辆中的火灾。这些信息，连同火灾的严重程度，可以报告给消防队，以便采取适当的行动。

嵌入式高效网络加速

为了减小模型的尺寸能够在移动平台运行，我们对一个模型进行了微调，该模型的体系结构与早期火灾探测的挤压网模型相似。该模型的大小从238 MB减小到3MB，从而节省了235MB的额外空间，从而将成本降至最低，使其在监控网络中的实施更为可行。此外，与AlexNet的计算复杂度为2gflops/image相比，该模型需要0.72gflops/image。这使得我们提出的模型在推理方面更有效，允许它处理多个监视流。