SNIDER: Single Noisy Image Denoising and Rectification for Improving License Plate Recognition

@[SNIDER: Single Noisy Image Denoising and Rectification for
Improving License Plate Recognition]

用于提高车牌识别的单幅噪声图像去噪和校正

链接axriv地址: [https://arxiv.org/pdf/1910.03876].

翻译的，PS：也是搬运的，方便自己查看借鉴去噪的。
如有麻烦请联系，我会删除

0.摘要

在本文中，我们提出了一种用于从真实世界中的低质量图像中进行车牌识别（LPR）的算法。我们的算法建立在降噪和校正的框架上，并且每个任务都是由卷积神经网络来执行。在先前的研究中，降噪和校正任务分别被一个神经网络来处理。不同以往，我们提出了一种可训练的端到端的图像恢复网络，即“单噪声图像降噪和校正”网络(SNIDER)，致力于一起解决这两个问题。此外，我们提出了一种利用辅助任务优化多任务训练损失的方法。在两个具有挑战性的LPR数据集进行了大量的实验，证明了我们提出的方法的有效性，并且在从低质量的车牌图像中恢复高质量的车牌图像时本方法优于其他的最新的方法。

1.研究背景

真实世界中的车牌识别(LPR)是多种智能运输系统(ITS)应用程序，如车辆重识别，户外场景理解，用于隐式保护的去识别等的基本问题之一。过去几年，LPR已经在理论，实验和数理方面得到了广泛的研究，以提供鲁棒性（强壮的清晰的)图像特征表示。一些LPR方法可以捕获图像和噪声的结构属性，以进行严格的约束。虽然已经取得了一些成果，但由于外观，噪声，角度和光照的变化，在野外进行车牌识别仍不能取得令人满意的效果。
近年来，由于卷积神经网络的发展，许多计算机视觉任务取得了很大进步例如目标检测，语义分割，人脸识别等。同时CNN引导的LPR方法也被广泛用于解决识别现实世界中捕获的车牌。然而，现有的LPR方法仍然无法学习到野外所有类型的样本，这些算法实际上是将高质量的图像作为输入。通常，在现实世界中收集的车牌可能包含质量很低的图像，从而导致LPR性能下降。因此，在真实世界场景中开发鲁棒性LPR框架是必要的。
在本文中，我们基于多个辅助任务设计了一个端到端的单噪声图像降噪和校正网络(SNIDER)以实现更好的LPR。Figure1展示了我们的框架，其中SNIDER和预训练的LPR网络(这里是基于Darknet的YOLOV3网络)相结合。SNIDER包括两个子网络：降噪网络和校正网络。基于U-Net在恢复图像细节方面的成功，我们采用U-Net结构作为图像恢复骨干网洛，尝试从结构级别的细节中提取视觉内容。在去噪子网络(DSN)中，我们尝试将低质量的图像直接逐像素地转换为高质量的图像。DSN可以惩罚噪声和无噪声图像对之间的损失，从而获得无噪和有精细纹理的输出图像。但仅仅使用DSN，去噪图像仍不能令人满意，因为图像仍然具有随机的几何变化。因此，校正网络(RSN)被提出用于校正去噪后车牌图像的几何畸变。此外，我们提出利用新的辅助任务进一步优化SNIDER的DSN和RSN网络。一共有两个辅助任务：一个文本计数模块和一个分割预测模块。具体来说，我们使用CNN作为编码器来解决每个辅助模块。计数模块用来预测图像中的文本数量，被当作分类问题。在此模块中，尽管连续文本的边界模糊，文本计数模块仍可区分单个文本，从而使图像质量更适合于文本检测。在分割预测模块中，我们提出了一种二值分割方法来强调前景而不是背景，生成的分割结果使得车牌更加干净以进行文本识别。最后，学习辅助任务将引导图像恢复网络的中间特征，从而增加几何变化和低质量信息等困难。更重要的是，我们引入了新的损失函数，用于训练SNIDER和辅助任务，为鲁棒性LPR提供了更高质量的车牌数据。
综上所述，本文的主要贡献如下：
•提出了一种新型的端到端车牌恢复网络，其中去噪和校正网络用于生成清晰的恢复图像以获得稳健的lpr性能。
•我们提出了辅助任务，以利用从低质量中恢复车牌的质量。主要是引入一个新的损失来为主干SNIDER提供正则化效果࿰