模型仅664KB，LAR-IQA：开源、轻量级、准确且鲁棒的无参考图像质量评价模型

关注公众号，发现CV技术之美

随着深度学习技术的发展，无参考图像质量评估（NR-IQA）领域取得了显著的进展。NR-IQA模型不依赖于参考图像，仅通过分析单张输入图像来预测其质量。这在实际应用中非常有用，特别是在移动设备、监控系统和其他资源受限的环境中。

然而，现有的高性能NR-IQA模型往往体积庞大，计算复杂度高，不适合在这些受限环境中部署。为了解决这一问题，一种新颖的轻量级NR-IQA模型——LAR-IQA被提出，该模型在保持高精度的同时，显著降低了计算复杂度，非常适合在实际应用中部署。

论文作者来自美国波特兰州立大学和Sony公司

• 论文链接：https://arxiv.org/pdf/2408.17057v1

• 模型和代码：https://github.com/nasimjamshidi/LAR-IQA （开源协议MIT）

技术背景

图像质量评估（IQA）在计算机视觉和图像处理领域有着广泛的应用，如图像压缩、传输、增强和生成等场景。传统的图像质量评估方法通常依赖于参考图像，即需要有一个无损的“完美”图像来进行比较。这种有参考的图像质量评估方法（FR-IQA）虽然效果很好，但在许多实际应用中，参考图像不可获得，因此无参考图像质量评估（NR-IQA）应运而生。

近年来，随着深度学习的兴起，研究人员开发了多种基于深度学习的NR-IQA模型，这些模型能够在多个公开数据集上取得较好的性能。然而，这些模型通常非常庞大、计算复杂度高，不适合在资源受限的设备（如移动设备或嵌入式系统）上运行。为了克服这些挑战，作者提出了LAR-IQA模型，该模型通过精心设计的架构和高效的训练策略，实现了轻量化和高性能的平衡。

原理与方法

模型架构

LAR-IQA模型的核心是一种双分支架构，每个分支分别处理不同类型的图像失真：一个分支处理合成失真图像，另一个分支处理真实失真图像。通过这种设计，模型能够更好地适应不同类型的失真，提高其在不同场景下的通用性。每个分支在不同的数据集上独立训练，使得模型在遇到各种失真类型时都能做出准确的质量评估。

除了双分支架构外，作者还引入了多色彩空间训练的策略。传统的NR-IQA模型通常仅在RGB色彩空间进行训练，而LAR-IQA则在多个色彩空间（如YCbCr、Lab等）上进行训练。这种策略能够增强模型对不同视觉条件的鲁棒性，从而提高其在复杂环境中的表现。

在图像质量的最终回归部分，LAR-IQA采用了Kolmogorov-Arnold网络（来自论文 Liu Z,et al. Kan: Kolmogorov-arnold networks ,2024），这是一种新兴的回归模型。与传统的多层感知器（MLP）相比，KANs能够更准确地拟合图像质量评分，提高模型的预测精度。

LAR-IQA训练中使用到的数据集

实验结果

作者在多个公开数据集上对LAR-IQA进行了测试，并与当前最先进的NR-IQA模型进行了对比。实验结果显示，LAR-IQA不仅在准确性上达到了当前最先进模型的水平，而且在计算效率上有显著提升。

在ECCV AIM UHD-IQA挑战赛的验证集和测试集上，LAR-IQA模型表现出色，达到了最先进的性能。此外，LAR-IQA的推理速度比最快的现有模型快了近5.7倍。这意味着该模型不仅能够提供高质量的图像质量评估结果，而且能够在资源受限的环境中快速运行，非常适合实际应用。

相关资源

为了促进进一步研究和应用，作者公开了LAR-IQA的源代码以及训练和测试所使用的数据集链接。研究者和工程师可以通过这些资源快速复现实验结果，并在自己的项目中应用LAR-IQA模型。

论文地址: https://arxiv.org/pdf/2408.17057v1

代码仓库: https://github.com/nasimjamshidi/LAR-IQA

数据集: https://codalab.lisn.upsaclay.fr/competitions/19335

总结

LAR-IQA模型在图像质量评估领域做出了重要贡献。通过巧妙的双分支架构、多色彩空间训练和引入Kolmogorov-Arnold网络，作者成功设计了一种轻量级且高效的NR-IQA模型，适合在资源受限的环境中部署。其在多个公开数据集上的优秀表现，表明了该模型的实用性和广泛应用前景。

对于那些需要在实际工程中进行图像质量评估的研究者和工程师而言，LAR-IQA提供了一种高效、准确且鲁棒的解决方案。随着该模型及其代码的开源，它将为计算机视觉领域的进一步研究和应用铺平道路。

END

欢迎加入「图像质量评价」交流群👇备注：IQA