多模态大模型——任务、评估、数据集

已于 2024-03-20 10:27:03 修改
阅读量2.6k 收藏 28
点赞数 23
文章标签： 语言模型 人工智能 自然语言处理
于 2024-03-17 15:10:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33523925/article/details/136780446
版权
本文详细介绍了多模态大模型的任务，如视觉问答、描述和定位，并探讨了评估基准，如SEED-Bench、LLaVA-v1.6。同时，列举了幻觉数据集、综合评估、纯文本评估和视频问答的数据集，如PoPE、MME、VQAv2等，以及LMM视觉问答和描述的数据集，如InfoVQA、COCO Caption等。此外，还讨论了多模态模型的幻觉纠正方法，如啄木鸟和LVLM Hallucination Revisor。
摘要由CSDN通过智能技术生成

参考链接：https://zhuanlan.zhihu.com/p/671638798

一、视觉大模型的任务

  1. 视觉问答（Visual Question Answering, VQA）：给定一个图片以及问题，需要理解图片的内容并基于此用自然语言回答问题
  2. 视觉描述（Visual Captioning）：给定一个图像，用自然语言描述图像的内容。
  3. 视觉定位（Visual Grounding）/短语定位（Phrase Localization/Phrase Grounding）。参考cogVLM文章的定义，把 Visual Grounding 作为一个广义概念，分为：
    ① Grounded Captioning：具有定位的视觉描述（描述图像的内容以及所提到所有实体的位置） Referring
    ② Expression Generation：指代表述生成（给定图像和对应在图像中的位置，生成一个自然语言描述，并与其他相似物体区分）
    ③ Referring Expression Comprehension（REC）：指代表述理解（给定图像以及实体描述，定位到图中的最佳匹配区域，并理解各种自然语言语义及物体、属性、区域等相关的视觉信息）
    ④ Grounded Visual Question Answering：包含定位的视觉问答 （给定图像以及物品的位置框信息，进行视觉问答）

二、评估基准：

SEED-Bench排行榜：

在这里插入图片描述

  • ppl (perplexity) 就是给模型 4 句话 A / B / C / D ，看模型更认同哪一句话 (混淆度 perplexity 更低)；
  • gen (generate) 就是问题为提示词，让模型往下续写，并从续写中提取答案为 A / B / C / D中的哪一个。
  • SEED-Bench-2：由三个层级构成，每个层级都对模型的不同能力进行了深度评估：
    L1评估模型对固定形式的图像（如单图、多图或视频）和文本的理解能力；
    L2评估模型对图文穿插这一更为灵活的输入形式的理解能力；
    L3更进一步，评估模型不仅输出文本，还包括生成图像的能力。

在这里插入图片描述
图2 SEED-Bench-2的三个层级构成

LLaVA-v1.6，模型评估

在这里插入图片描述

  • MME（Multi-Modal Explanations）：用于评估模型在多模态解释任务中的性能。包含MME-Cognition与MME-Perception。
  • MMBench: 视觉模型多任务评估 MMBench-CN: 视觉模型多任务评估，中文任务评估 CMMLU: 中文多任务语言理解能力
  • TouchStone：提供了多个任务和评估指标，用于综合评估多模态模型的能力。
  • LLaVA-Bench–Wild：为评估模型在更具挑战性的任务中的能力以及对新领域的泛化能力，收集了 24 张不同的图像，总共60 个问题，包括室内和室外场景、绘画、草图等。将问题分为三类：对话（简单 QA）、详细描述和复杂推理。
  • SEED-IMG：情感评估
  • Math-Vista 在视觉环境中的数学推理

三、大型多模态模型的评估数据集（

最低0.47元/天 解锁文章
*pan
关注
多模态大模型：技术原理与实战 多模态大模型评测数据集
AI天才研究院
05-17 1199
1. 背景介绍 1.1 多模态数据的兴起与挑战 近年来，随着互联网和移动设备的普及，各种形式的数据正在以前所未有的速度增长。其中，多模态数据，即包含多种信息来源的数据，例如文本、图像、音频、视频等，成为了重要的数据形式。多模态数据蕴含着丰富的语义信息，为人工智
中文多模态大模型基准8月榜单发布！8大维度30个测评任务，3个模型超过70分
m0_59164304的博客
08-03 1591
GPT-4o取得74.36分，领跑多模态基准。其中基础多模态认知能力和应用能力均有70+分的表现，在技术和应用方面均有一定领先优势。
小白也能看懂，大模型的6个评估指标！
chengxuyuanyy的博客
08-23 603
近年来，随着深度学习技术的飞速发展，大型神经网络模型如BERT、GPT-3等已经成为自然语言处理、计算机视觉、语音识别等领域的重要工具。这些模型之所以称为"大型"，是因为它们通常包含数十亿甚至数千亿的参数，比以往的模型要庞大得多。然而，模型的规模庞大并不总是意味着性能更好，因此我们需要一套有效的方法来评估这些大型神经网络的性能。本文将探讨为什么要评估大型神经网络模型，以及如何使用一系列关键指标来评估它们。在深度学习领域，大型神经网络模型已经成为各种应用的核心。
最全 高质量 大模型 -评估基准数据集（不定期更新）
最新发布
u011559552的博客
09-16 1491
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
【大模型评测】常见的大模型评测数据集
热门推荐
A-Itfuture的博客
01-17 1万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
高级AUC指标：如何评估多模态数据的分类模型
AI天才研究院
12-31 956
1.背景介绍 随着数据的多样性和复杂性不断增加，多模态数据已经成为了人工智能领域的重要研究方向。多模态数据指的是同时包含多种类型的数据，如图像、文本、音频等。在实际应用中，多模态数据可以帮助我们更好地理解问题，提供更准确的解决方案。因此，如何有效地评估多模态数据的分类模型成为了一个重要的研究问题。 在分类任务中，AUC(Area Under Curve，面积下曲线)指标是一种常用的评估方法，用...
【大模型系列】大模型评价指标总结
kabuto_hui的博客
04-20 8017
参考资料：BLEU (BiLingual Evaluation Understudy) 是一种评估机器翻译文本的指标，但也可用于评估生成文本的质量，通过比较机器生成的文本和人类生成的参考文本的重叠程度。BLEU 得分是一个 0 到 1 之间的数字，用于衡量机器翻译文本与一组高质量参考翻译的相似度。0 表示机器翻译的输出与参考翻译没有重叠（低质量），而 1 表示其与参考翻译完全重叠（高质量）。定义如下：BLEU=∏i4min⁡(1,exp⁡(1−reference-lengthoutput-length))⏟
小白也能看懂 | 大模型的6个评估指标
zhishi0000的博客
05-04 4008
近年来，随着深度学习技术的飞速发展，大型神经网络模型如BERT、GPT-3等已经成为自然语言处理、计算机视觉、语音识别等领域的重要工具。这些模型之所以称为"大型"，是因为它们通常包含数十亿甚至数千亿的参数，比以往的模型要庞大得多。然而，模型的规模庞大并不总是意味着性能更好，因此我们需要一套有效的方法来评估这些大型神经网络的性能。本文将探讨为什么要评估大型神经网络模型，以及如何使用一系列关键指标来评估它们。在深度学习领域，大型神经网络模型已经成为各种应用的核心。
多模态学习：实现多模态数据的学习与处理
AI天才研究院
01-21 1934
1.背景介绍 多模态学习是一种机器学习方法，旨在处理和学习不同类型的数据。这些数据可以是图像、文本、音频、视频等。多模态学习的目标是利用不同类型的数据来提高机器学习模型的性能和准确性。在本文中，我们将讨论多模态学习的背景、核心概念、算法原理、最佳实践、应用场景、工具和资源推荐以及未来趋势和挑战。 1. 背景介绍 多模态学习的研究起源于20世纪90年代，当时的研究主要集中在图像和文本之间的关系...
多模态大模型：技术原理与实战 多模态大模型的主要应用场景
AI天才研究院
05-19 1011
随着人工智能技术的快速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。这些模型能够同时处理和理解多种数据类型，如文本、图像、音频和视频，从而实现更加全面和智能的信息处理能力。多模态大模型的出现不仅推动了人工智能技术的进步，也为各行各业带来了革命性的变革。在本文中，我们将深入探讨多模态大模型的技术原理，并重点关注其主要应用场景。我们将从理论到实践，全面解析这一前沿技术，帮助读者更好地理解和应用多模态大模型。表示学习：学习不同模态数据的统一表示。注意力机制：捕捉不同模态之间的关键信息。
AIGC实战——多模态模型DALL.E 2
盼小辉丶的博客
05-08 2496
DALL.E 2 是 OpenAI 提出的一个大规模文本生成图像模型，可以根据文本提示生成各种风格的逼真图像。它通过将预训练模型 CLIP 与 GLIDE 中的扩散模型架构相结合完成任务。它还具有其他应用，例如通过文本提示编辑图像和提供给定图像的变体。虽然它也有一些局限性，例如不一致的文本渲染和属性绑定，但 DALL.E 2 是仍然一个非常强大的AI模型，推动了生成模型的发展。
多模态大模型：技术原理与实战 多模态大模型的核心技术
AI天才研究院
06-27 1186
多模态大模型：技术原理与实战 多模态大模型的核心技术 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：多模态大模型，融合学习，跨模态推理，知识蒸馏，预训练 1. 背景介绍
多模态视觉大语言模型——LLaVA
机器学习，深度学习
08-01 980
本文首次尝试使用GPT-4生成多模态指令数据，并基于这些数据训练了LLaVA(Large Language and Vision Assistant)模型，这是一种结合视觉编码器和语言模型的多模态大模型，用于视觉和语言理解。实验表明，LLaVA在多模态任务上表现优异，与GPT-4结合后实现了92.53%最佳准确率。研究还提供了公开数据、模型和代码，以促进视觉指令跟随领域的研究。
大模型学习路线（10）——模型评测指标
qq_51175703的博客
05-17 1681
第一章节介绍了机器学习（Machine Learning, ML）和深度学习（Deep Learning，DL）领域评估指标，包含分类任务、预测任务、回归任务、常用损失值；第二章节介绍了大语言模型（LLMs）领域评测指标；第三章节介绍了多模态（MLLMs）领域评估指标；第四章节介绍了知识召回业务领域的评估指标。
多模态学习 - 视觉语言预训练综述-2023-下游任务、数据集、基础知识、预训练任务、模型
ruyingcai666666的博客
03-15 2071
参考： https://zhuanlan.zhihu.com/p/628840228 https://zhuanlan.zhihu.com/p/628994098 https://zhuanlan.zhihu.com/p/629996372 https://zhuanlan.zhihu.com/p/582424974 多模态学习 - 视觉语言预训练综述-2023-下游任务、数据集、基础知识、模型 1. 多模态介绍 多模态机器学习（multimodal learning ）旨在处理和理解不同模态(诸如视觉、语
【多模态】1、几种多模态 vision-language 任务和数据集介绍
呆呆的猫的博客
07-17 4182
本文主要介绍几种多模态的基础任务
MME测评集的学习
pumpkin84514的博客
06-20 880
MME 测评集提供了一种系统化的方式来评估多模态模型在不同任务上的表现。通过合理配置和调用相关API，可以高效地测量模型在跨模态理解、生成和一致性方面的能力。无论是研究人员还是工程师，使用 MME 测评集都能帮助更好地理解和改进多模态模型。
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language ModelsMME：多模态大语言模型综合评估基准
Mars_prime的博客
12-11 3951
在本节中，我们对 MME 基准进行了大量实验，以评估总共 12 个开源 MLLM，包括 BLIP-2、LLaVA、MiniGPT-4、mPLUG-Owl、LLaMA-Adapter-v2、Otter、Multimodal-GPT、 InstructBLIP、VisualGLM-6B、PandaGPT、ImageBind-LLM 和 LaVIN。细粒度的识别更多的是测试MLLM的知识资源。为了推断出正确的答案，MLLM需要遵循指令，感知图像的内容，并调用LLM中保留的知识，这比单一的感知任务更具挑战性。
大模型技术进化论:多模态大模型综述 pdf
12-15
《大模型技术进化论：多模态大模型综述》是一篇系统阐述多模态大模型技术进化的综述性论文。多模态大模型是指通过整合多种不同的数据形式和类型，构建出更复杂、更完整的模型，以提高模型的表现和性能。 该论文首先介绍了大模型技术的背景和发展动力。随着数据规模的快速增长和多源数据的丰富性，传统的单一模态模型已经面临着一系列的挑战，无法完全适应现实世界中的复杂情况。因此，多模态大模型的出现成为了解决这一问题的有效手段。 随后，论文针对多模态大模型的构建过程进行了详细的讨论。首先介绍了多模态数据的采集与预处理方法，包括各种传感器和设备的应用，以及数据对齐和归一化等技术。然后，论文详细介绍了多模态特征提取、融合和表示学习方法，包括传统的特征提取算法和深度学习方法等。 接着，论文重点讨论了多模态大模型在各个领域的应用。例如，在计算机视觉领域，多模态大模型能够通过融合图像和文本数据，实现更准确的图像分类和目标检测。在自然语言处理领域，多模态大模型能够通过融合文本和语音数据，实现更准确的情感分析和语音识别。此外，还介绍了多模态大模型在医学、金融、推荐系统等领域的应用。 最后，论文总结了多模态大模型技术的优势和挑战，并展望了未来的研究方向。多模态大模型技术的优势在于可以综合利用不同数据源的信息，提高模型的鲁棒性和泛化能力。然而，多模态大模型技术面临着数据集规模和计算复杂度的挑战，需要进一步研究和改进相应的算法和技术。 综上所述，《大模型技术进化论：多模态大模型综述》通过系统的介绍了多模态大模型技术的构建过程、应用领域和发展前景，对相关研究和应用人员具有重要的参考价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值