这里提出了一种基于知识蒸馏的快速CNN来车牌检测方法KDNet。KDNet使用知识蒸馏来引导CNN优化参数,并快速获得车牌检测器。为了克服局部信息的负面影响,本文将非局部相似性机制引入到CNN中,以增强全局信息在车牌检测中提取显著信息的作用。一种快速知识蒸馏的车牌检测方法
论文“Knowledge Distillation with Fast CNN for License Plate Detection”,由西工大&同济&中南大学联合提出
作者:田春伟,张璇昱,梁旭,李波,孙友刚,张师超
单位:西北工业大学、空天地海一体化大数据应用技术国家工程实验室、同济大学、中南大学
论文链接:https://ieeexplore.ieee.org/abstract/document/10309208
项目链接:https://github.com/hellloxiaotian/KDNet
1摘要
深度卷积神经网络可以提高车牌识别率,提高交通效率。然而,这些方法可能涉及巨大的计算成本和大量的参数。本文提出了一种基于知识蒸馏的快速CNN来车牌检测方法(Knowledge distillation with a fast CNN for license plate detection, KDNet)。KDNet使用知识蒸馏来引导CNN优化参数,并快速获得车牌检测器。为了克服局部信息的负面影响,本文将非局部相似性机制引入到CNN中,以增强全局信息在车牌检测中提取显著信息的作用。实验结果表明,本文提出的KDNet的车牌检测速度具有优越性。KDNet的代码可以在https://github.com/hellloxiaotian/kdnet处被获取。
主要贡献:
-
使用两个相同的YOLOv7的组成知识蒸馏框架来引导CNN,实现快速的车牌检测器。
-
将非局部相似机制嵌入到CNN中,通过增强全局信息的效果来提取显著和互补的结构信息,从而提高车牌检测的识别率。
2 方法
网络结构如图1所示:
图1 KDNet网络结构图
3 实验
本文提出的方法在CCPD和CLPD这两个基准数据集上超过了很多流行的方法,如:SSD300、Fast-RCNN、MD-YOLO和YOLOv7等。更多的车牌检测结果如表1和表2所示:
表1 IoU为0.7时在CCPD上不同方法的检测精度
表2不同方法当IoU为0.9时在CLPD上不同上采样因子下PSNR和SSIM
为了验证提出方法的检测时间,本文还在CLPD数据集上比较SSD300,YOLO 9000,Fast-RCNN,TE2E,MTLPR和提出的方法在1080Ti显卡(为了与流行工作保证一致设置)上测试车牌检测的性能。如表3所示,本文提出的模型在推理时间和帧数上都体现出了更快的速度。这说明KDNet适用于实时、计算量受限的数字设备上。表3 在1080Ti显卡上的检测时间和帧数
为了从视觉验证本文提出方法的优越性,本文制作CCPD、CLPD和AOLP数据集上的3组可视化图像。如图2至图4所示,本文提出的方法能够在复杂的场景下准确、全面地定位出单个或多个车牌的位置,这再次说明提出的KDNet对车牌检测任务有效。 whaosoft aiot http://143ai.com
图2 KDNet在CCPD上的16张检测结果可视化图像
图3 KDNet在CLPD上的16张检测结果可视化图像
图4 KDNet在AOLP上的16张检测结果可视化图像
4 结论
本文提出了一种基于知识蒸馏的快速CNN方法用于车牌检测。它将知识蒸馏引入到CNN中,以优化参数并快速实现车牌检测器。考虑到局部信息的不足,利用非局部相似性机制引导CNN增强全局信息的效果,根据像素关系提取车牌检测的显著结构信息。本文提出的方法对车牌检测速度快,对改善交通状况非常有用。在将来,作者们将使用自监督学习来指导CNN进行车牌检测。