基于太赫兹的危险品智能识别系统

                                                                   基于太赫兹和深度学习的危险品智能识别系统

刘宁宁  （河南中光学集团有限公司 河南 南阳 ）

摘  要：基于太赫兹线性扫描成像和深度学习技术，实现包裹危险品的实时智能识别。采用太赫兹线性扫描成像技术，穿透包裹、衣物、信封等物品，探测隐匿的塑胶凶器、塑胶炸弹、流体炸药、易燃易爆液体等危险品，形成太赫兹图像。对太赫兹图像，采用基于深度学习的目标检测方法，实现危险品检测识别。实验结果表明，该系统对危险品成像，能显现X射线扫描仪不易探测的危险品，能自动识别，且精度高、实时性好。该系统是一种成像质量好，识别精度高，实时性好的包裹危险品智能识别系统。

       太赫兹（THz）波是一种频率范围为 0.1THz-10THz，波长范围为 0.03-3mm，介于无线电波和光波之间的电磁波。具有高时空相干性、低光子能量、使用安全性高、定向性好、频谱宽等特性，近年来迅速发展，在军事、安全、医疗、生物、农业等科学领域得到广泛应用[1]。传统的X射线扫描仪，对非金融、液态、粉末状物品具有很强的穿透性，不易成像。利用太赫兹成像技术，可以对x射线透过的物品，进行有效的检测。现有的安检系统，主要通过人工识别，耗费巨大人力成本。因此，需要研制一种基于太赫兹成像的危险品智能识别系统。

       近年来，由于快速激光技术的发展，太赫兹辐射源、探测器和关键器件的研制取得较大成功[2]，太赫兹成像技术得以实现。利用太赫兹成像技术[3]的太赫兹线性扫描仪和太赫兹相机已初步应用于安全、医疗领域。传统的目标识别方法主要基于特征提取和分类器，需要根据特定的待检测目标设计特征，该方法对单类别或少量类别检测效果较好，对多类别目标检测识别能力有限。目前基于深度学习的目标检测方法，可以自动提取出最佳分类特征，对多类别目标检测具有优异的性能。

       深度学习是由多伦多大学的Hinton et al.提出的一种新型的多层神经网络学习算法，在计算机视觉[4]、目标检测识别[5]、语音识别[6]等领域已得到较为广泛的应用，是当前的研究、应用热点。目前比较流行的深度学习算法框架有Tensorflow、Daknet以及Caffe等。深度学习相关的目标检测方法大致分为两类：基于区域提名的，如R-CNN[7]、Fast R-CNN[8]、Faster R-CNN[9]、R-FCN[10]；端到端（End-to-End）的，如YOLO[11]、SSD[12]。端到端的方法，无需区域提名，把目标判定和目标识别合二为一，所以识别性能有了很大提升。

       Darknet深度学习框架是由Joseph Redmon提出的一个用C和CUDA编写的开源神经网络框架。它安装速度快，易于安装，并支持CPU和GPU计算。YOLO是Joseph Redmon针对Daknet这一框架提出的目标检测算法，具有速度快、泛化能力强、识别率高等优点。YOLO有两个缺点，定位不准确，和基于region proposal的方法相比召回率较低。SSD借鉴了Faster R-CNN中的Anchor机制，同时使用了多尺度，在保持YOLO高速的同时效果也提升很多。

        YOLO2是对YOLO的改进，在保持原有速度的同时提升了目标检测精度，比SSD更快、更精确。本文采用太赫兹线性扫描成像技术和YOLO2算法，对YOLO2算法的网络结构进行精简，在保证识别精度的前提下，减少计算量，实现了包裹危险品实时的智能识别。

1 太赫兹线性扫描成像系统

1.1 太赫兹成像设备

       系统采用维尔克斯光电代理的Terasense公司的TeraFAST-256，由太赫兹信号发生器，高速线性太赫兹相机组成，两个设备同步且最优化集成。成像速率达到了5000fps，图像尺寸为512x256，采用了高速度传送带，速度最高达到15m/s。图像数据流通过USB接口，传输到计算机，通过上位机软件读取并显示图像。

1.2 危险品太赫兹成像

危险品类别有6类：枪支、粉末状物品、固态非金属物品、乙醇、刀具、可燃油。危险品进行太赫兹成像如图1所示：

（a）枪支     (b)粉末状物品  (c)固态非金属物品

（d）乙醇          (e)刀具       (f)可燃油

               图1 危险品太赫兹图像

2 深度学习模型训练

        系统基于深度学习框架Darknet的YOLO2算法[11]，为了提高实时性，对模型框架进行了精简，实现危险品实时检测识别。模型训练环境，硬件为高性能计算机和NVIDIA GeForce RTX 1080 Ti显卡，软件为Ubuntu 16.04(64)+CUDA8.0+CUDAA6.0+OPENCV3.4

2.1 训练集

       训练集由6类危险品组成，每个类别分别放入纸质包裹，采集3000张图像，通过不断随意改变包装箱和危险品的位置得到。每个类别取2500张图像用于训练，训练集共有6x2500张图像组成。

2.2 网络层精简

       针对该训练集，为了使训练和识别速度更快，在保证识别准确率的同时，寻求两者的权衡。对YOLO2网络层进行精简，经过多次尝试，得到精简网络模型结构，如图2所示。

                                                                                图2 精简网络模型结构

       配置文件cfg参数设置为：batch=64，subdivisions=16，max_batches=300000，steps=150000,250000，scales=.1,.1  learning_rate=0.001。

3 危险品智能识别软件

       软件采用Python语言编制，界面采用wxPython，运行于电脑端，主要功能为太赫兹线性扫描拼接成像，危险品目标的智能识别告警，太赫兹扫描成像设备的控制等，如下图3所示。软件运行环境为：

硬件：高性能计算机+NVIDIA GeForce RTX 1080 Ti显卡

软件：Windows 10(x86)+Python 2.7.14+Opencv2.4.3

                                                                                        图3 危险品智能识别软件

4 实验结果

4.1 精简模型性能

       在相同的硬件平台，分别采用三种模型框架进行训练，然后对相同测试集进行性能测试，结果如表1所示。准确率=tp/(tp+fp)，tp是目标被正确识别出来的个数，fp是检测出所有目标的个数。

                                                                                         表1 精简模型性能

model	accuraccy（%）	Recognize time（s）
YOLOv2_416[11]	96	1.2
YOLOv3_416[13]	98	1.6
本文模型	96	0.8

        通过对YOLO2模型框架进行精简，在保证精度的情况下，大大缩短了检测时间，提高了系统的实时性。

4.2 模型的识别能力

        对含有危险品的包裹进行太赫兹扫描，通过改变包裹的摆放位置、方向等得到的太赫兹图像（512x256），形成数据集。数据集包含6个类别：刀具、枪支、乙醇、燃油、粉末、非金属固体，每个类别有3000张图像，2500张作为训练集，500张作为测试集。为了检测训练模型的识别能力，采用平均召回率（Recall_Avg）和平均交并比（Iou_Avg）作为评价指标，如下表2所示。Recall_Avg=tp/(tp+fn)，tp是目标被正确识别出来的个数，fn是图片中所有目标的个数。Iou_Avg=（DetectionResult⋂GroundTruth）/（DetectionResult⋃GroundTruth），DetectionResult 为系统预测出来的框，GroundTruth为原图的标记框。

                                                                                      表2 模型的识别能力

Class	Train	test	Recall_Avg	Iou_Avg
刀具	2500	500	0.98	0.92
枪支	2500	500	0.97	0.94
乙醇	2500	500	0.98	0.95
燃油	2500	500	0.98	0.86
粉末状物品	2500	500	0.92	0.89
非金属固体	2500	500	0.96	0.91

4.3 系统识别效果

       在实验中，采用普通的纸质包装箱，作为隐藏危险品的包裹，分别对包裹外和包裹内的危险品进行测试，如下图4所示。

                                                                                                    （a）

                                                                                                   （b）

                                                                                                      （c）

                                                                                        图4 危险品智能识别报警

       其中（a）为包裹外危险品检测，（b）包裹内危险品检测。包裹会对识别精度有稍微的影响，如可燃油的识别准确率由97%降为88%，但已经能够满足实际应用。（c）为包裹外多目标的检测，经过测试，该系统能够同时识别多类危险品。

5 结论

       系统识别准确率高、实时性好，表现出优异的性能。但是，系统采集的图像，存在较大背景噪声，会对识别结果造成一些影响。背景噪声主要由传送带震动引起，应该对传送带的平稳性进行改进，消除背景噪声。太赫兹波是一种电子能量低的电磁波，这意味着太赫兹辐射将不会对人体组织造成伤害，利用太赫兹波对日常衣物材料（棉、麻、化纤等）特殊的穿透性，可以实现人体安检。 将来对太赫兹成像技术进行改进，应用于人体安检，实现人体危险品智能识别告警，将在安全领域具有广阔的前景。

6 作者

作者简介：刘宁 1988年 就职于河南中光学集团有限公司，从事深度学习，数字图像处理，arm，vs，python，android等工作

联系方式：lnbjtu@163.com

参考文献：

[ 1 ] 安国雨. 太赫兹技术应用与发展研究[J]. 环境技术, 2018, v.36；No.212(02):29-32.

[ 2 ] 王汉斌. 太赫兹半导体探测器、发射器和功率放大器的制备及性能研究[D]. 2017.

[ 3] 孙建忠, 章乐, 高飞, et al. 太赫兹连续波成像的质量改进与降噪[J]. 光谱学与光谱分析, 2017(11).

[ 4 ] He K , Zhang X , Ren S , et al. Deep Residual Learning for Image Recognition[J]. 2015.

[ 5] Li G , Yu Y . Deep contrast learning for salient object detection[C]// Computer Vision and Pattern Recognition (CVPR), IEEE Conference on. IEEE, 2016.

[ 6] Xiong W , Wu L , Alleva F , et al. THE MICROSOFT 2017 CONVERSATIONAL SPEECH RECOGNITION SYSTEM[J]. 2017.

[ 7] R. Girshick, J. Donahue, T. Darrell, J. Malik. Region-Based Convolutional Networks for Accurate Object Detection and Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, May. 2015.

[ 8 ] Girshick, R. Fast R-CNN. ICCV 2015.

[ 9 ] S. Ren, K. He, R. Girshick, J. Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. Advances in Neural Information Processing Systems 28 (NIPS), 2015.

[ 10 ] R-FCN: Object Detection via Region-based Fully Convolutional Networks. Jifeng Dai, Yi Li, Kaiming He, and Jian Sun. Conference on Neural Information Processing Systems (NIPS), 2016.

[ 11 ] Redmon, J., Divvala, S., Girshick, R., Farhadi, A.: You only look once: Unified, real-time object detection. In: CVPR. (2016)

[ 12 ] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[J]. arXiv preprint arXiv:1512.02325, 2015.

[ 13 ] Redmon J , Farhadi A . [IEEE 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - Honolulu, HI (2017.7.21-2017.7.26)] 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - YOLO9000: Better, Faster, Stronger[J]. 2017:6517-6525.