K. Muhammad, J. Ahmad, Z. Lv, P. Bellavista, P. Yang and S. W. Baik, “Efficient Deep CNN-Based Fire Detection and Localization in Video Surveillance Applications,” in IEEE Transactions on Systems, Man, and Cybernetics: Systems, vol. 49, no. 7, pp. 1419-1434, July 2019, doi: 10.1109/TSMC.2018.2830099.
深度CNN的火灾识别与定位
前言
火灾探测可分为两大类:传统火灾报警和;视觉传感器辅助火灾探测。传统的火灾报警系统基于需要近距离激活的传感器,如红外和光学传感器。这些传感器不太适合关键环境,在发生警报时需要人的参与来确认火灾,包括访问火灾位置。此外,此类系统通常无法提供有关火灾大小、位置和燃烧程度的信息。为了克服这些局限性,本项目系统可以在不需要访问火灾位置的情况下确认火灾,并可以提供有关火灾的详细信息,包括火灾的位置、大小、程度等。尽管这些系统具有这些优点,但这些系统仍存在一些问题,如观察到的场景的复杂性、不规则的照明,以及低质量的帧;研究人员已经做了一些努力来解决这些方面,同时考虑到颜色和运动特征。为了解决上述问题,本项目研究了一种基于卷积神经网络(CNN)的深层特征在监控网络中的早期火灾探测。
网络结构
本项目为避免了传统手工制作火灾探测功能的耗时工作,并探索了室内监控网络早期火灾探测的深度学习架构。我们使用一个结构类似于SqueezeNet的模型,根据我们的目标问题进行了修改。原始模型是在ImageNet数据集上训练的,能够对1000个不同的对象进行分类。然而,在我们的例子中,我们使用这种架构来检测火灾和非火灾图像。这是通过将最后一层的神经元数量从1000个减少到2个来实现的。通过保持架构的其余部分与原始架构相似,我们旨在重用这些参数,以更有效地解决火灾探测问题,我们的算法在火灾的早期检测中可以起到至关重要的作用。该模型由两个规则卷积层、三个最大池层、一个平均池层和八个称为“fire模块”的模块组成,输入的是224×224×3像素的彩色图像。在第一卷积层,将64个3×3大小的滤波器应用于输入图像,生成64个特征映射。这64个特征映射的最大激活由第一个最大池层选择,其步长为两个像素,使用3×3像素的邻域。这样可以将特征图的大小缩小两倍,从而保留最有用的信息,同时丢弃不太重要的细节。接下来,我们使用两个128个过滤器的消防模块,然后是另一个256个过滤器的消防模块。每个火力模块还包括两个进一步的卷积、压缩和膨胀。由于每个模块由多个滤波器分辨率组成,并且在Caffe框架中没有对此类卷积层的本地支持[36],因此引入了一个扩展层,每个fire模块中有两个独立的卷积层。第一层卷积包含1×1个滤波器,第二层包含3个×3个滤波器。这两个层的输出在通道维度中连接。在三个fire模块之后,还有另一个max pooling层,其操作方式与第一个max pooling层相同。在512个滤波器的最后一个fire模块(Fire9)之后,我们根据感兴趣的问题修改卷积层,将类数减少到两个[M=2(fire和normal)]。该层的输出被传递到平均池层,该层的结果直接输入到Softmax分类器中,以计算两个目标类的概率。
火灾识别与定位
我们用不同的参数设置训练不同的模型,经过微调过程,得到了一个在不同条件下,在室内和室外场景下,能够远距离、小范围探测火灾的最优模型。
另一个激励因素提出的深层CNN是避免预处理和特征工程,这是传统火灾探测算法所需要的。为了测试一个给定的图像,它通过deepcnn发送,它给输入图像分配一个“fire”或“normal”标签。这个标签是根据网络计算的概率分数来分配的。以较高的概率得分作为输入图像的最终类别标签。图2给出了一组样本图像及其预测的类标签和概率分数。为了在样本图像中定位火灾,我们使用图3中给出的框架。首先,从我们的深层CNN得到了一个预测。在使用算法1分析了我们提出的CNN不同层的所有特征映射后,“Fire2/Concat”层的特征映射8、26和32对火灾区域敏感,适合火灾定位。因此,我们融合了这三个特征映射并应用二值化来分割火焰。图4给出了一组带有分割区域的火灾图像样本。分段火灾用于两个进一步的目的:1)确定被观察场景的严重程度/燃烧程度;2)从输入的火灾图像中找到影响区域(ZOI)。燃烧程度可以由分段火焰中的像素数确定。ZOI可以通过从原始输入图像中减去分割的火焰区域来计算。生成的ZOI图像随后从最初的squezenet模型[35]传递过来,该模型从1000个对象中预测其标签。对象信息可用于确定场景中的情况,例如房屋、森林或车辆中的火灾。这些信息,连同火灾的严重程度,可以报告给消防队,以便采取适当的行动。
嵌入式高效网络加速
为了减小模型的尺寸能够在移动平台运行,我们对一个模型进行了微调,该模型的体系结构与早期火灾探测的挤压网模型相似。该模型的大小从238 MB减小到3MB,从而节省了235MB的额外空间,从而将成本降至最低,使其在监控网络中的实施更为可行。此外,与AlexNet的计算复杂度为2gflops/image相比,该模型需要0.72gflops/image。这使得我们提出的模型在推理方面更有效,允许它处理多个监视流。