python提高照片分辨率怎么调_使用Python+OpenCV+GAN实现车牌图像增强

在好莱坞的犯罪电影中，我们经常看到侦探们在电脑高手的帮助下进行破案，他们可以从模糊、低质量的图像中发现隐藏的信息。在技术上，电影中的黑魔法被称为(SISR)

在各种SISR应用中，汽车牌照的超分辨率以其巨大的潜力绝对名列前茅。 例如，它可以用于执法，还可用于提高车牌识别和街道识别(地图服务)的准确性。

在本文中，我将向大家介绍我是如何使用Python实现车牌图像增强的。

展示

在深入探讨模型体系结构和训练策略细节之前，先展示一下模型的能力，通过下方图片可以直观感受：

在逃逸事故案例中往往存在这样一个问题：车牌照片是在黑暗条件下由低质量摄像头拍摄的。针对此问题，我们的模型不仅可以实现提高分辨率，还可以通过对图像进行去噪、调整亮度和对比度来增强车牌号的易读性。

系统架构

预处理

我们在本项目中使用的数据集为中国城市停车场数据集CCPD，它包含了200k+个不同条件下的汽车图像。但是原始数据不能被直接使用，因为我们只需要车牌图像而不是街景和汽车，因此第一步是使用数据集提供的标注从图像中裁剪出车牌图像。

另外，我们还过滤掉了亮度和对比度差的图像，只保留优质图片使用。我们人工处理了车牌图像数据(input，label)。其中，输入经过降采样和噪声、同时随机进行亮度和对比度的“破坏性”处理，而标签不变。

模型详细信息

我们的模型受ESRGAN模型 的启发。顾名思义，我们的模型通过不断的对抗性训练来获取识别能力——生成器和鉴别器相互对抗。

生成器

我们的生成器建立在两个最先进的模型之上——ESRGAN的RRDB网络和残差密集网络。生成器使用亚像素卷积(在tensorflow中称为tf.depth_to_space，在Pythorch中称为Pixel Shuffle)在低分辨率图像上进行8倍采样。与大部分情况一样，亚像素卷积在我们任务中的作用是将一个大小为10 x 10 x 64的特征映射压缩到另一个深度较浅的较大特征映射(如果上采样率为8，则为80 x 80 x 1)。

鉴别器

鉴别器使用的是一个简单的VGG风格的网络，输出0(假)或1(真)，理想情况下，鉴别器应该能够区分重建图像和真实图像。

添加一个鉴别器比使用一个最小化均方误差的生成器得到的效果更好，后者倾向于创建与合法字母完全不同的过度平滑伪影。使用鉴别器约束输出空间有助于创建类似字母的重构。

损失函数与评估

车牌图像重建的一个问题在于均方误差或峰值信噪比等常用指标在描述高层特征方面并不特别擅长。例如，模糊重建可能比具有偏移亮度和高对比度的重建获得更高的PSNR。

因此，重点关注边缘和字母方向等高级特征是非常重要的。在SRGAN的论文中，研究者们发现了一个新的内容损失函数，该函数计算VGG网络的特征空间中的均方误差，它突出了原始图像的特征，而不是图像空间中的均方误差。他们将VGG损失定义为

本文模型使用的损失函数为VGG损失和MSE损失的混合：

内容丢失迫使模型在重建时注意边缘，以确保高层骨架与真实值相匹配。

结束

本文使用生成对抗网络模型实现了车牌图片的重建与增强。大家有任何问题，欢迎在评论区与我交流。