图像质量评价与大模型——Q系列（2）Q-Instruct

已于 2024-09-06 11:47:15 修改
阅读量1.1k 收藏 10
点赞数 10
文章标签： 人工智能 计算机视觉 图像处理 算法
于 2024-09-06 11:44:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shyinnn/article/details/141955827
版权

《Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models》

CVPR2024，arxiv：2023.11

正如开篇之作Q-bench的limitations中作者写道，打算进一步扩展LLDescribe 和 LLVisionQA 数据集，以最终实现可靠的低级可视化指令调整过程，从而进一步提高 MLLM 的低级能力，本研究正是建立了一个指令微调数据集。

0摘要

本文建立了第一个由人类自然语言对低级视觉的反馈组成的数据集Q-pathway。每一个反馈都是对图像低级视觉属性的描述，最终形成一个整体的质量评估。（通过这个描述可以看出feedback由两部分组成：描述+整体质量评估）。Q-pathway数据集包括58K的反馈对应于18793张多源影像。进一步，建立了一个200k的指令数据集Q-instruct，将Q-pathway中的反馈通过GPT转换为不同的查询和响应对（instrcution-response pairs）。

1 介绍

Motivation：尽管已经证实了MLLMs是具有感知和理解图像低级视觉特性的能力，但是在相应这些关于底层视觉的问题时准确率没有很高，为了提升MLLMs对底层视觉感知的准确性，就势必需要一个关注底层视觉信息的大型指令微调数据集来提升大模型的底层视觉感知和评估的能力。

Q-instruct的构建步骤：

step1：Collect human feedbacQ-ks for low-level vision.这对应着Q-pathway的建立过程。让人类详细地描述图像的底层特性，包括blurs、noises、clarity、brightness、position、content等，然后需要基于这个描述

最低0.47元/天 解锁文章
shyinnn
关注
实战千问2大模型第一天——Qwen2-7B（知识问答）的部署和fastapi封装
qq_34717531的博客
09-10 1535
Qwen2-7B是由阿里云通义千问团队开发的一系列大型语言模型中的一个。这个模型是基于Transformer架构的，包含自注意力和因果掩码机制，专注于处理和生成自然语言文本。Qwen2-7B是在超大规模的预训练数据上训练得到的，这些数据不仅包括中英文，还包含其他25种语言的高质量数据。这个模型不仅在语言理解和生成方面表现出色，还在编程、数学解题等多个领域显示了其先进的性能。
人工智能|预训练大模型——全球医疗大模型
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
09-17 3101
谷歌和DeepMind的科研人员在《自然》杂志上发表了一项研究，根据其研究结果，一组临床医生对谷歌和DeepMind团队的医疗大模型Med-PaLM回答的评分高达92.6%，与现实中人类临床医生的水平（92.9%）相当。
图像质量评价与大模型——Q系列（1）Q-BENCH
shyinnn的博客
09-05 1313
（对应轴1的失真和轴2的全局）③图像中哪个区域比较亮（对应轴1的其他和轴2的局部）④图像中人脸的清晰度？该策略的提出基于一个思想：由于前面的提示词直接获得质量的方法可以得出，good和poor是MLLMs对质量的两种感知，这其实是MLLMs内部有关质量分数的tokens的二分类的结果，近似于argmax的激活函数。Low-level的视觉能力对图像质量评价尤为重要，因为它与感知视觉的失真（例如模糊和噪声），其他的图像底层特性（例如颜色、亮度、风格等），以及图像的美学特性和情绪等十分相关。
**视觉感知的图像质量评估模型优化 —— 拥抱PyTorch的IQA新纪元**
gitblog_00533的博客
09-03 980
视觉感知的图像质量评估模型优化 —— 拥抱PyTorch的IQA新纪元 IQA-optimizationComparison of IQA models in Perceptual Optimization项目地址:https://gitcode.com/gh_mirrors/iq/IQA-optimization 在当今这个数字图像无处不在的时代，如何准确评估和提升图像的质量成为了图像处理领域...
小白也能看懂 | 大模型的6个评估指标
zhishi0000的博客
05-04 5339
近年来，随着深度学习技术的飞速发展，大型神经网络模型如BERT、GPT-3等已经成为自然语言处理、计算机视觉、语音识别等领域的重要工具。这些模型之所以称为"大型"，是因为它们通常包含数十亿甚至数千亿的参数，比以往的模型要庞大得多。然而，模型的规模庞大并不总是意味着性能更好，因此我们需要一套有效的方法来评估这些大型神经网络的性能。本文将探讨为什么要评估大型神经网络模型，以及如何使用一系列关键指标来评估它们。在深度学习领域，大型神经网络模型已经成为各种应用的核心。
CVPR2024 | 改善多模态大模型底层视觉能力，NTU与商汤联合提出Q-Instruct，已开源
聚焦底层视觉处理，对相关基础AI技术持续学习
03-14 1344
以随机损坏 COCO数据集中的 1,012 张原始原始图像，其中人工扭曲率为 15 分之一。组装的子采样数据集由 18,973 张图像组成，这些图像进一步馈送到人类受试者以提供通路反馈。
探索视觉智能新高度：Q-Instruct 模型与数据集
gitblog_00064的博客
06-09 561
探索视觉智能新高度：Q-Instruct 模型与数据集 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在人工智能的快速发展中，多模态基础模型正逐渐成为研究的焦点。Q-Instruct 是一个由 Nanyang Technological University、Shanghai Jiaotong University、Sensetime Research 和 I2R@A...
图像质量评价与大模型——Q系列（3）Q-ALIGN
shyinnn的博客
09-06 2032
基于摘要中所说的人类学习的过程，以及LLM倾向于对文字定义的level进行响应（Q-ben'ch中也发现直接打分会效果很差，但是输出poor和good的二分类效果好一些），因此作者提出了Q-ALIGN，在训练阶段，将MOS分转化为五等的文字输入，推理阶段，提取不同评级级别的对数概率，采用 SoftMax 池化来获得每个级别的概率，用五个等级概率加权值得到分数。而LLM是如何打分的呢？在IQA方法的介绍中出现了一个在Q-instruct中对比过的方法，LIQE，这是一个基于CLIP的多任务学习框架的方法。
中文大模型基准测评2024年报告-2024年度中文大模型阶段性进展评估-SuperCLUE团队-2024.7.9-59页.pdf
07-24
- **开源模型崛起**：特别值得注意的是，中国开源大模型Qwen2-72B-Instruct在本次评估中脱颖而出，其性能超过了大多数国内外的闭源模型。 - **任务表现差异**：在不同的任务类型中，各模型的表现各有侧重。例如，GPT...
图像质量无参考评价方法源码
05-25
图像质量评价无参考方法，matlab源码主程序。CVPR会议论文：Beyond Human Opinion Scores_ Blind Image Quality Assessment based on Synthetic Scores和 Active Sampling for Subjective Image Quality Assessment
图像质量的评价指标【PSNR/SSIM/LPIPS/IE/NIE/Prepetual loss】
bettii的博客
02-21 3525
图像质量的评价指标【PSNR/SSIM/LIPIS/IE/NIE/Perceptual loss】
基于深度学习的无参考图像质量评价探索
xiaohuaibao的博客
04-19 3823
1.图像数据库收集 按照参考文章https://blog.csdn.net/lanmengyiyu/article/details/53332680下载数据集。需要翻墙！ 2.论文选择 在这个网址可以检索到目前最牛的文章及代码https://paperswithcode.com/sota 通过检索发现无参考图像质量评价一共有三篇大牛论文是包含代码的。 三篇带有代码的论文： 我选...
Q-BOOST: ON VISUAL QUALITY ASSESSMENT ABILITY OF LOW-LEVELMULTI-MODALITY FOUNDATION MODELS
qq_40962125的博客
01-04 979
再其次，如果只有good和bad，然后bad还等于0，那其实很难区别出好有多好，坏有多坏，而加入一个mid，还是那句话，虽然在文本的返回上只是多了一个token罢了，但是这个token如果经过log和sftmax之后可就是一个有权重的系数了，这样的影响是远远比只有good和bad要大的。ok，连续的图，为啥说是连续的图呢，因为开始作者也不确定策略2的效果啥样，然而经过试验发现，策略二只对VQA有效果，对IQA可以说不仅没有增强反而还弱化了，所以结论可以说是对于连续的图来说，就是视频。图像或视频质量估计。
Q-Bench：一种用于低级别视觉通用基础模型的基准测试
程序员深度学习
01-29 1150
简单来说，答案是语言，这是多模态大模型的基本属性。具体而言，我们定义多模态大模型在low-level视觉方面的两种新兴语言能力如下：能力1（A1）：low-level 属性的感知。如图 1(a)所示，像人类一样，多模态大模型应该能够准确地回答与 low-level 属性相关的简单问题，例如在查询“这张图像清晰吗？”时回答“不清晰”。能力2（A2）：通过自然语言进行描述。如图1(b)所示，像人类一样，多模态大模型应该能够用自然语言描述图像的质量和其他low-level信息。这些描述应该既完整又准确。
CVPR2024部分研究方向文章梳理（持续更新中）
llptyy的博客
04-09 1192
CVPR2024部分研究方向文章梳理（持续更新中）
CV计算机视觉每日开源代码Paper with code速览-2023.11.14
CV计算机视觉
11-18 372
10.【多模态】Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models。7.【多模态】GPT-4V in Wonderland: Large Multimodal Models for Zero-Shot Smartphone GUI Navigation。9.【多模态】InfMLLM: A Unified Framework for Visual-Language Tasks。
《OpenCV3和Qt5计算机视觉应用开发》学习笔记第10章
热门推荐
chenyijun的专栏
04-29 1万+
本章中，我们将学习用现有的技术对基于Qt和OpenCV构建的应用程序进行测试。我们将学习开发时的测试与调试，还将学习如何使用Qt测试框架对应用程序进行单元测试。在将应用程序交付给最终用户之前，这是最重要的过程。 本章将介绍以下主题： ❑ Qt Creator的调试特性 ❑ 如何使用Qt Test Namespace进行单元测试 ❑ 数据驱动的测试 ❑ GUI测试以及回放GUI事件 ❑ testcase工程项目的创建
探索低层次视觉的智慧边界：Q-Bench 模型基准测试平台
gitblog_00010的博客
06-25 493
探索低层次视觉的智慧边界：Q-Bench 模型基准测试平台 去发现同类优质开源项目:https://gitcode.com/ 在人工智能领域中，多模态预训练模型（MLLM）的进步不断推动着我们对机器智能的理解。然而，对于这些模型在低层次视觉任务中的性能如何，Q-Bench 提供了一个全面的评估基准。这是一个精心设计的开源项目，旨在衡量模型在图像感知、描述和评估方面的综合能力。 项目介绍 Q-Ben...
图像质量评估
qq_34717531的博客
09-06 1112
4）方法：本文引入Compare2Score，一个基于全方位LMM的无参考图像质量评估(NR-IQA)模型，能够产生定性的比较响应，并有效地将这些离散的比较级别转化为连续的质量分数。5）结果：在九个IQA数据集上进行的大量实验验证了Compare2Score在训练过程中有效地连接了文本定义的比较级别，并将其转化为推断中的单个图像质量分数，超越了各种场景下的最先进IQA模型。在绝对质量评分的图像质量评估(IQA)方面取得了显著进展，但如何将可靠的相对质量比较输出转化为连续的感知质量分数仍然未被充分探索。
qwen的bsahane/Qwen2.5-VL-7B-Instruct
最新发布
03-08
Qwen2.5-VL-7B-Instruct 是一款由阿里云发布的多模态大型语言模型，专为理解和生成自然语言而设计的同时也支持图像输入。该模型不仅具有强大的文本处理能力，还特别增强了视觉理解功能，在文档解析、图片描述等方面...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值