图像质量评价

转自:https://blog.csdn.net/moxibingdao/article/details/107096783

本文继 去雨去雾去模糊篇 、 图像增强与图像恢复篇 、图像修复Inpainting篇之后,继续盘点CVPR 2020 中底层图像处理技术中非常重要的一块:图像质量评价(Image Quality Assessment

示例如下图:

上面左图为原图,中间为经过JPEG2000压缩后的图,右图为高斯模糊后的图,从清晰度来讲,肯定第一幅图质量更高,质量评价就是给图像打分,即如何用算法自动化给图像打分。

可以是有参考图像的打分,比如对图像压缩后质量进行评价。也可以没有参考图像,即盲图像质量评价。
 

虽然是个小众领域,但是很重要。

因为对图像处理增强也好、恢复也好,你总要评价结果好坏;又或者你单纯的想对某一项视觉任务评估图像能否满足需要,比如针对人脸识别的质量评价,看一幅图像是否应该拒绝还是输入到人脸识别系统中;现在也有很多人研究图像的美学评价,这就很好理解了,对图像拍的美不美进行打分。

CVPR 2020 共有7篇相关论文,既涉及到底层的视觉感知质量的评价,也涉及到对高级视觉任务比如图像描述、人脸识别的质量评价,多篇论文代码开源并贡献了数据集,非常值得参考!

已经开源或者即将开源的论文,把代码地址也附上了。

大家可以在:

http://openaccess.thecvf.com/CVPR2020.py

按照题目下载这些论文。

如果想要下载所有CVPR 2020论文,请点击这里:

CVPR 2020 论文全面开放下载,含主会和workshop

该文为两个真实世界问题:图像文字描述和视觉问答创建了大型图像质量评价数据集,解决在这两个问题图像信息是否足够进行文字描述和视觉问题。(感觉蛮有意思的,高级的视觉文本理解问题进行图像质量评价)

[1].Assessing Image Quality Issues for Real-World Problems

作者 | Tai-Yin Chiu, Yinan Zhao, Danna Gurari

单位 | 得克萨斯大学奥斯汀分校

数据集 | https://vizwiz.org/tasks-and-datasets/image-quality-issues/(即将)

应对图像质量评价模型在真实自然场景图像应用中效果不如合成数据集的问题,该文提出一种自适应超网络架构,分为三个阶段:内容理解,感知规则学习和质量预测。提取图像语义后,由超网络自适应地建立感知规则,然后由质量预测网络预测结果。

[2].Blindly Assess Image Quality in the Wild Guided by a Self-Adaptive Hyper Network

作者 | Shaolin Su, Qingsen Yan, Yu Zhu, Cheng Zhang, Xin Ge, Jinqiu Sun, Yanning Zhang

单位 | 西北工业大学

代码 | https://github.com/SSL92/hyperIQA

智能手机拍照功能的感知质量评估,该文建立了 66 部智能手机拍摄的 11125 幅图像,并对每幅图像广泛调研了人类对其各种指标的评价,是对智能手机拍照功能的最全面比较研究,并基于此数据集设计了盲图像质量评价基线模型,研究结果可用于设计更好的评估算法,也有助于智能手机拍照功能的改进。

[3].Perceptual Quality Assessment of Smartphone Photography

作者 | Yuming Fang, Hanwei Zhu, Yan Zeng, Kede Ma, Zhou Wang

单位 | 江西财经大学;香港城市大学;滑铁卢大学

代码 | https://github.com/h4nwei/SPAQ

人脸质量评估旨在评估人脸图像是否适合识别,该文提出的方法大大超越之前的方法,并可方便集成到人脸识别系统中。

[4].SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness

作者 | Philipp Terhorst, Jan Niklas Kolf, Naser Damer, Florian Kirchbuchner, Arjan Kuijper

单位 | Fraunhofer Institute for Computer Graphics Research IGD;达姆施塔特工业大学

代码 | https://github.com/pterhoer/FaceImageQuality

为了避开使用ImageNet等非图像质量相关的数据集训练的预训练模型,作者收集了不同失真类型的数据集NR-IQA,并提出基于元学习方法学习人类评估图像质量的先验信息,然后在NR-IQA数据集上微调。实验显示该方法给出的结果大幅超越了之前的SOTA,并在真实图像上泛化结果很好。

[5].MetaIQA: Deep Meta-Learning for No-Reference Image Quality Assessment

作者 | Hancheng Zhu, Leida Li, Jinjian Wu, Weisheng Dong, Guangming Shi

单位 | 西安电子科技大学;中国矿业大学

眼睛是心灵的窗口,也是面部最具吸引力的部位,该文提出一种针对眼部inpaint任务的眼部美学评估方法,在其引导下可以生成更加自然更具吸引力的眼部inpaint结果,超越商业软件Adobe Photoshop Elements的效果。

[6].Assessing Eye Aesthetics for Automatic Multi-Reference Eye In-Painting

作者 | Bo Yan, Qing Lin, Weimin Tan, Shili Zhou

单位 | 复旦大学

(a)为待修补的图像,(b)为Photoshop的结果,(d)为该文结果

自适应分数阶扩张卷积网络在图像美学评价中的应用,解决图像纵横比(图像卷曲和裁剪)的改变对图像质量评价的影响。

[7].Adaptive Fractional Dilated Convolution Network for Image Aesthetics Assessment

作者 | Qiuyu Chen, Wei Zhang, Ning Zhou, Peng Lei, Yi Xu, Yu Zheng, Jianping Fan

单位 | 北卡罗来纳大学夏洛特分校,复旦大学,Amazon Lab126,西安电子科技大学

推荐阅读:

目 录 第一章 引言 1 1.1 图像质量评价的定义 1 1.2 研究对象 1 1.3 方法分类 2 1.4 研究意义 3 第二章 历史发展和研究现状 4 2.1 基于手工特征提取的图像质量评价 4 2.1.1 基于可视误差的“自底向上”模型 4 2.1.1.1 Daly模型 4 2.1.1.2 Watson’s DCT模型 5 2.1.1.3 存在的问题 5 2.1.2 基于HVS的“自顶向下”模型 5 2.1.2.1 结构相似性方法 6 2.1.2.2 信息论方法 8 2.1.2.3 存在的问题 9 2.2 基于深度学习的图像质量评价 10 2.2.1 CNN模型 10 2.2.2 多任务CNN模型 12 2.2.3 研究重点 15 第三章 图像质量评价数据集和性能指标 16 3.1 图像质量评价数据集简介 16 3.2 图像质量评价模型性能指标 17 第四章 总结与展望 19 4.1 归纳总结 19 4.2 未来展望 19 参考文献 21 第一章 引言 随着现代科技的发展,诸如智能手机,平板电脑和数码相机之类的消费电子产品快速普及,已经产生了大量的数字图像。作为一种更自然的交流方式,图像中的信息相较于文本更加丰富。信息化时代的到来使图像实现了无障碍传输,图像在现代社会工商业的应用越来越广泛和深入,是人们生活中最基本的信息传播手段,也是机器学习的重要信息源。 图像质量图像系统的核心价值,此外,它也是图像系统技术水平的最高层次。但是,对图像的有损压缩、采集和传输等过程会很容易导致图像质量下降的问题。例如:在拍摄图像过程中,机械系统的抖动、光学系统的聚焦模糊以及电子系统的热噪声等都会造成图像不够清晰;在图像存储和传输过程中,由于庞大的数据量和有限通讯带宽的矛盾,图像需要进行有损压缩编码,这也会导致振铃效应、模糊效应和块效应等图像退化现象的出现。所以,可以说图像降质在图像系统的各个层面都会很频繁地出现,对图像质量作出相应的客观评价是十分重要且有意义的。为了满足用户在各种应用中对图像质量的要求,也便于开发者们维持、控制和强化图像质量图像质量评价Image Quality Assessment,IQA)是一种对图像所受到的质量退化进行辨识和量化的
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值