图像质量评价与大模型——UniQA

于 2024-09-10 15:37:02 发布
阅读量1.6k 收藏 6
点赞数 22
文章标签： 人工智能 计算机视觉 图像处理 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shyinnn/article/details/142100206
版权

《UniQA: Unified Vision-Language Pre-training for Image Quality and Aesthetic Assessment》

Axiv：2024.6

0. 摘要：

现有的方法通常忽视了IAA和IQA之间主观感知的潜在联系，阻碍了人类主观感受于任务无关的共享学习的表示。本研究提出了一个质量和美学统一的UniQA。（此前方法也关注到美学信息在判断图像质量的时候是一个重要的方面，但是大多都是将美学分支作为额外的角度补偿图像失真信息，例如DOVER，或者是将IQA和IAA作为两个不同的任务混合训练，使模型获得综合的图像感知能力，例如Q-ALIGN。

1. 介绍

作者思考了这样一个问题：Can we develop a foundational model with robust visual assessment perceptions consistent with human to benefit both IQA and IAA tasks?

作者提出的方法是基于预训练，建立一个联合的评估图像质量和美学的模型，考虑到现存的方法大多是拟合MOS分，而导致他们的模型对更大尺度的数据集有bias，所以作者想到提出用文本描述构建一座桥梁，

最低0.47元/天 解锁文章
shyinnn
关注
每日AIGC最新进展(24)：用于图像质量和审美评估的统一视觉-语言预训练模型UniQA、可控生成图像压缩框架Control-GIC、3D感知扩散模型Ouroboros3D
沉迷单车的追风少年
06-11 997
本文提出了一种名为UniQA的统一视觉-语言预训练模型，用于图像质量和美学评估（IQA和IAA）。与现有方法独立处理这两个任务不同，UniQA通过学习与人类主观感知一致的通用感知表示，同时提升IQA和IAA任务的性能。该模型利用多模态大型语言模型（MLLMs）生成高质量的文本描述，以解决IQA数据集中缺少文本的问题，并净化IAA数据集中的噪声文本。
大模型辅助的推荐系统用户意图理解
最新发布
AI天才研究院
10-21 466
《大模型辅助的推荐系统用户意图理解》 关键词： 推荐系统、用户意图理解、大模型、深度学习、个性化推荐 摘要： 本文将探讨大模型在推荐系统用户意图理解中的应用，详细分析
图像质量评价与大模型——Q系列（1）Q-BENCH
shyinnn的博客
09-05 1403
（对应轴1的失真和轴2的全局）③图像中哪个区域比较亮（对应轴1的其他和轴2的局部）④图像中人脸的清晰度？该策略的提出基于一个思想：由于前面的提示词直接获得质量的方法可以得出，good和poor是MLLMs对质量的两种感知，这其实是MLLMs内部有关质量分数的tokens的二分类的结果，近似于argmax的激活函数。Low-level的视觉能力对图像质量评价尤为重要，因为它与感知视觉的失真（例如模糊和噪声），其他的图像底层特性（例如颜色、亮度、风格等），以及图像的美学特性和情绪等十分相关。
图像质量评估-NIMA（Neural Image Assessment）
程序员深度学习
11-03 1万+
1. 背景 图像质量和美学的量化一直是图像处理和计算机视觉长期存在的问题。技术质量评估测量的是图像在像素级别的损坏，例如噪声、模糊、人为压缩等等，而对艺术的评估是为了捕捉图像中的情感和美丽在语义级别的特征。 通常情况下，图像的质量评估一般分为两种： 有参照(Full-Reference,FR)：PSNR(峰值信噪比)、SSIM(标准-结构相似度)等图像质量评分系统 无参照(No-Referen...
基于隐马尔科夫模型的图像质量评估模型
qq_33328642的博客
10-03 828
先占座 第一章 马尔科夫模型概述 首先，这部分的较少网上大家转载了好多次了，我已经找不到具体的出处了。 我参考的是这个大牛的博客：https://www.cnblogs.com/zhizhan/p/4161516.html 1.1 马尔科夫链 如下图的马尔科夫模型状态转移 图中的方框代表你要建模过程的可能状态，箭头表示状态间的转移情况。箭头上的标签表示转移概率。在过程中的每一步，模型会产生一个输出（决定于所处的状态）然后转移到另一个状态。马尔科夫模型的一个重要特性是下一个状态只与当前的状态有关，与过去的转
使用Opencv将RGB颜色空间转换到HSV颜色空间/灰度图
17岁boy的博客
03-27 2万+
一. 使用cvCvtColor函数将RGB颜色空间转换到HSV颜色空间所需函数：1.cvCvtColor函数功能：颜色空间转换函数原型：void cvCvtColor( const CvArr* src, CvArr* dst, int code );参数介绍：const CvArr* src：输入图像CvArr* dst： 输出图像(输出图像必须和输入图像的size，颜色位深度，...
图像质量评价（Image Quality Assessment，IQA）概述
02-28
目 录 第一章 引言 1 1.1 图像质量评价的定义 1 1.2 研究对象 1 1.3 方法分类 2 1.4 研究意义 3 第二章 历史发展和研究现状 4 2.1 基于手工特征提取的图像质量评价 4 2.1.1 基于可视误差的“自底向上”模型 4 2.1.1.1 Daly模型 4 2.1.1.2 Watson’s DCT模型 5 2.1.1.3 存在的问题 5 2.1.2 基于HVS的“自顶向下”模型 5 2.1.2.1 结构相似性方法 6 2.1.2.2 信息论方法 8 2.1.2.3 存在的问题 9 2.2 基于深度学习的图像质量评价 10 2.2.1 CNN模型 10 2.2.2 多任务CNN模型 12 2.2.3 研究重点 15 第三章 图像质量评价数据集和性能指标 16 3.1 图像质量评价数据集简介 16 3.2 图像质量评价模型性能指标 17 第四章 总结与展望 19 4.1 归纳总结 19 4.2 未来展望 19 参考文献 21 第一章 引言 随着现代科技的发展，诸如智能手机，平板电脑和数码相机之类的消费电子产品快速普及，已经产生了大量的数字图像。作为一种更自然的交流方式，图像中的信息相较于文本更加丰富。信息化时代的到来使图像实现了无障碍传输，图像在现代社会工商业的应用越来越广泛和深入，是人们生活中最基本的信息传播手段，也是机器学习的重要信息源。 图像质量是图像系统的核心价值，此外，它也是图像系统技术水平的最高层次。但是，对图像的有损压缩、采集和传输等过程会很容易导致图像质量下降的问题。例如：在拍摄图像过程中，机械系统的抖动、光学系统的聚焦模糊以及电子系统的热噪声等都会造成图像不够清晰；在图像存储和传输过程中，由于庞大的数据量和有限通讯带宽的矛盾，图像需要进行有损压缩编码，这也会导致振铃效应、模糊效应和块效应等图像退化现象的出现。所以，可以说图像降质在图像系统的各个层面都会很频繁地出现，对图像质量作出相应的客观评价是十分重要且有意义的。为了满足用户在各种应用中对图像质量的要求，也便于开发者们维持、控制和强化图像质量，图像质量评价（Image Quality Assessment，IQA）是一种对图像所受到的质量退化进行辨识和量化的
mammad-kabiri-uniqa:Mammad Kabiri @ Uniqa软件服务的奇怪案例
05-23
Mammad Kabiri @ Uniqa软件服务的奇怪案例 邮寄来的信说：“你被解雇了！” 自3月份首次电晕锁定开始以来，以及办公室关闭以来，部门的负责人兼无容器服务主管Mammad Kabiri都没有打电话。 信中说：“打电话给妈妈...
UniQA项目测试案例：Selenium应用与LGPD合规性
在描述中，我们看到了一个团队的名字——Grupo UniQA，以及几个成员的名字：玛丽亚·奇雷诺、玛丽亚·纳塔利亚、费尔南达·莫妮克、莱恩·巴斯托斯、杰西卡·科迪罗和格拉齐埃拉·弗朗佐尼。这些成员可能是参与了...
【图像评价】几种图像质量评价方法及其实现案例
G_redsky的博客
02-27 1万+
这些文献涵盖了从传统的峰值信噪比（PSNR）和结构相似性（SSIM）指数到更现代的无参考（NR）图像质量评估方法。因此，虽然主观质量评价方法在某些情况下（如新算法开发的初步评估）仍然具有重要作用，但在实际应用中往往需要结合客观质量评价指标，以提高评价效率和准确性。：当前的客观评价方法通常无法理解图像内容的上下文意义，例如，一个在艺术摄影中可接受的噪声水平可能在医疗成像中是不可接受的。：训练得到的客观评价模型可能在未见过的数据上表现不佳，尤其是在图像内容和失真类型多样化的情况下。
图像质量评估和点云质量评估
XsupDatabase的博客
09-28 698
本文介绍了图像质量评估和点云质量评估的基本概念和常用方法，并提供了相应的源代码示例。图像质量评估关注图像的视觉质量，常用的评估指标包括均方误差（MSE）、结构相似性指标（SSIM）和峰值信噪比（PSNR）。点云质量评估关注点云数据的准确性和完整性，常用的评估方法包括点云配准质量评估、稠密重建质量评估和离群点检测质量评估。在计算机视觉和计算机图形学领域中，图像质量评估和点云质量评估是两个重要的任务。图像质量评估旨在量化图像的视觉质量，而点云质量评估则关注于点云数据的准确性和完整性。
图像质量评价（IQA）综述
学无止境
05-08 2万+
对于图像处理领域来讲，一个首要的目标是去提升处理后的图像的质量，而这个质量应该更符合人类的感知，即：如何去评判一个算法所得到的图像是好是坏？这不应该单单是靠着某个指标来决定的，而是应该依赖于人类的观感。简而言之，这个图像处理算法所得到的结果图片，只有人类看上去感觉更"好看"，我们才说 A 是一个好算法。那接下来得问题是：不能总是靠人来帮助我们构建好的算法，因为人力资源是很昂贵的，因此我们就需要 图像质量评价 (IQA)算法。...
图像质量评估与优化：计算机视觉的核心技术
AI天才研究院
12-31 1451
1.背景介绍 图像质量评估与优化是计算机视觉领域的一个核心技术，它涉及到对图像的质量进行评估和优化，以提高图像处理和理解的效果。在现实生活中，图像质量评估与优化的应用非常广泛，例如图像压缩、图像恢复、图像增强、图像识别等。 图像质量评估是指根据一定的标准和指标，对图像的各种特性进行评价和衡量，以判断图像是否满足预期的质量要求。图像优化是指根据评估结果，采取相应的方法和技术，对图像进行处理和改进...
图像质量评估——论文精读系列
qq_42351942的博客
07-21 2120
图像质量评估论文精度，基于无监督学习。
小白也能看懂 | 大模型的6个评估指标
zhishi0000的博客
05-04 5480
近年来，随着深度学习技术的飞速发展，大型神经网络模型如BERT、GPT-3等已经成为自然语言处理、计算机视觉、语音识别等领域的重要工具。这些模型之所以称为"大型"，是因为它们通常包含数十亿甚至数千亿的参数，比以往的模型要庞大得多。然而，模型的规模庞大并不总是意味着性能更好，因此我们需要一套有效的方法来评估这些大型神经网络的性能。本文将探讨为什么要评估大型神经网络模型，以及如何使用一系列关键指标来评估它们。在深度学习领域，大型神经网络模型已经成为各种应用的核心。
图像质量评估指标——SSIM介绍及计算方法
热门推荐
qq_50001789的博客
06-26 3万+
SSIM全称为Structural Similarity，即结构相似性，用于评估两幅图像相似度的指标，常用于衡量图像失真前与失真后的相似性，也用于衡量模型生成图像的真实性，如图像去雨、图像去雾、图像和谐化等等。SSIM的计算，即每次计算均从图片上取一个尺寸为N×N的窗口，基于窗口计算SSIM指标，，作为。假设x表示第一张图像窗口中的数据，y表示第二张图像窗口中的数据。其中图像的相似性由三部分构成：luminance(亮度)、contrast(对比度)和structure(结构)。
图像美学评估：一项实验调查与计算机视觉
QvisCs的博客
10-11 323
随着计算机视觉和人工智能的迅速发展，图像美学评估成为了一个备受关注的领域。实验调查的目标是开发一种基于计算机视觉的方法，能够自动评估图像的美学质量。为了达到这个目标，我们首先需要构建一个数据集，其中包含了大量的图像以及与之相关的美学评分。上述代码中，我们使用了预训练的VGG16模型作为特征提取器，并在其之上构建了一个用于美学评估的全连接神经网络。然后，我们可以使用该模型对新的图像进行美学评估，得到相应的美学分数。未来，随着计算机视觉和人工智能的进一步发展，图像美学评估的研究将会得到更多的突破和应用。
图像质量评价指标：PSNR，SSIM，IEF，UQI
weixin_44378835的博客
08-27 7044
Peak signal to noise ratio (PSNR) PSNR=10⋅log⁡(2552MSE)\mathrm{PSNR}=10 \cdot \log \left(\frac{255^{2}}{\mathrm{MSE}}\right)PSNR=10⋅log(MSE2552​) MSE=1M×N∑i=0M−1∑j=0N−1[O(i,j)−F(i,j)]2\mathrm{MSE}=\frac{1}{M \times N} \sum_{i=0}^{M-1} \sum_{j=0}^{N-1}[O(i,
常用图像评价指标以及代码 ：PSNR、SSIM、 LPIPS
2301_81845359的博客
09-07 5522
常用图像评价指标以及代码
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值