会“举一反三”的图像质量评价模型

最新推荐文章于 2022-03-21 11:26:57 发布

我爱计算机视觉

最新推荐文章于 2022-03-21 11:26:57 发布

阅读量1.5k

点赞数 1

文章标签：计算机视觉机器学习人工智能深度学习神经网络

原文链接：http://www.cjig.cn/jig/ch/index.aspx

版权

主题词

图像质量评价（IQA），无参考评价，模型扩展性

深度元学习，元知识，小样本学习

由于在实际环境下数据标注成本过高，图像质量评价是典型的小样本学习问题。因此现有的直接利用深度卷积神经网络构建的图像质量评价模型容易出现过拟合问题，导致模型的可扩展性不理想。

针对该问题，西安电子科技大学李雷达教授团队，在CVPR2020上发表的论文《MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment》，提出了基于深度元学习的高扩展性图像质量评价方法。

将不同失真类型的图像质量评价问题当作相关任务，利用元学习提取不同失真类型的图像质量间共享的元知识，即鲁棒的图像质量先验。对于待评价的图像失真，利用图像质量评价元模型，可以实现快速泛化；大量的实验结果验证了所提出的方法具有很强的扩展能力。

论文信息

标题：MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment

作者：Hancheng Zhu, Leida Li*, Jinjian Wu, Weisheng Dong, Guangming Shi

发表刊物：IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2020), Washington, USA, June 2020.

引用格式：H. Zhu, L. Li, J. Wu, W. Dong, G. Shi, “MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment," in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Washington, USA, June 2020.

研究背景

图像是人们日常生活获取信息的重要载体，图像在获取、压缩和传输等过程中会引入各种不同类型的失真。图像质量客观评价方法可以自动地对图像质量进行评价，同时保持与人眼感知的一致性，在图像处理、成像系统的设计与优化、图像检索等众多领域中有重要的应用价值。

由于实际环境下图像中的失真类型呈现多样化特性，失真的特性之间也存在较大差异，使得通用型的图像质量评价模型构建极具挑战。本文尝试从元学习的角度解决不同失真类型的图像质量评价模型的可扩展性问题。

研究方法

本研究基于元学习的学会学习（learn to learn）的能力，利用基于梯度优化的深度元学习方法获取具有快速扩展能力的图像质量先验模型。

图1 研究方法框架

1.利用基于梯度优化的元学习框架学习具有不同图像失真类型质量评价任务上的先验模型，获取图像中不同失真类型的共享先验知识；

2. 把质量先验模型看作预训练模型，通过对未知失真类型IQA任务的少量标注样本进行微调训练，可以快速泛化到目标图像的质量评价任务上。

研究结果

本研究在国际通用的合成失真和真实失真的IQA数据库进行验证，提出的先验模型不仅可以直接有效地预测未见失真类型图像的质量分数，而且通过少量训练样本的微调可以快速扩展到真实失真图像的质量评价任务上。通过与未使用元学习的基准方法进行比较，本研究方法可以提高5%左右的预测准确性，实验结果见表1和表2。

表1 模拟失真图像质量数据库TID2013和KADID-10K上的性能

表2 真实失真图像质量数据库CID2013、LIVE Challenge和KonIQ-10K上的性能

图2展示了利用合成失真图像获取的质量先验模型在提取真实失真图像的梯度可视化图，可以看到梯度图准确地捕捉到了真实失真在图像中的位置，这进一步证明了本研究方法可以学习到不同失真的共享先验知识。

图2 利用质量先验模型获取真实失真图像的梯度图

研究结论

在五个国际通用的IQA数据库上进行的实验表明，本研究方法在泛化能力和评价准确性方面均优于现有的无参考图像质量评价方法。此外，从合成失真中学习到的质量先验模型也可以快速扩展到真实失真图像的质量评价任务中，这也为实际应用的IQA模型的设计提供了依据，该方法对研究图像质量评价在小样本学习上具有重要的借鉴意义和参考价值。