【数据集—benchmark】VLM多模态大模型评估指标benchmark汇总

已于 2024-12-03 11:31:09 修改
阅读量803 收藏 1
点赞数 4
分类专栏： 数据集统计以及数据处理 文章标签： 人工智能 算法
于 2024-12-02 22:31:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45384162/article/details/144200461
版权

多模态评估基准

从7个方面对20+LMM的指标进行汇总,分别为:

  • 图像描述:COCO、Nocaps、Flickr30K、TextCaps
  • 图像问答:GQA、VQA、VQAv2、OK-VQA、SciQA-Img、VizWiz、IconQA、VSR、HM、TextVQA和OCR-VQA
  • 视觉定位:RefCOCO、RefCOCO+、RefCOCOg和 GRIT
  • 幻觉:PoPE、CHAIR
  • 综合评估:MME、TouchStone、SEED-Bench、MM-Vet、MMB、NMB-CN、LLaVA-Bench
  • 纯文本评估:MMLU、BBH、AGIEval、ARC-c和ARC-e
  • 视频问答:MSRVIT-QA、MSVD-QA、TGIF-QA

主要的BenchMark

在这里插入图片描述

清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%
代码讲故事
04-27 1431
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
丨汀、的博客
04-30 926
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
大模型评估基准（Benchmark）概述
PeterClerk的博客
08-31 1948
大模型评估基准概述
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language ModelsMME：多模态大语言模型综合评估基准
Mars_prime的博客
12-11 6067
在本节中，我们对 MME 基准进行了大量实验，以评估总共 12 个开源 MLLM，包括 BLIP-2、LLaVA、MiniGPT-4、mPLUG-Owl、LLaMA-Adapter-v2、Otter、Multimodal-GPT、 InstructBLIP、VisualGLM-6B、PandaGPT、ImageBind-LLM 和 LaVIN。细粒度的识别更多的是测试MLLM的知识资源。为了推断出正确的答案，MLLM需要遵循指令，感知图像的内容，并调用LLM中保留的知识，这比单一的感知任务更具挑战性。
视觉-语言模型：一文了解VLM的研究方向和发展前景
最新发布
qq_49925517的博客
04-14 744
目前的视觉识别任务通常利用海量的标注数据训练一个深度神经网络，这导致了一个费力且耗时的视觉识别范式。随着语言模型的发展，视觉语言模型（VLM）最近得到了深入的研究。它可以利用互联网上无穷无尽的大规模数据实现模型的预训练，并能够在下游任务上实现高效的Zero-Shot预测。VLM目前的研究大致包含三方面：预训练、迁移学习和知识蒸馏。本文将从这三方面阐明VLM目前的发展以及未来的发展方向。
多模态最新Benchmark！aiMotive DataSet：远距离感知数据集
CV_Autobot的博客
12-02 1226
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【多传感器融合】技术交流群后台回复【aiMotive】获取更多论文和数据集等更多信息！摘要自动驾驶是计算机视觉领域的一个研究热点。因为自动驾驶汽车对安全性要求很高 ，确保鲁棒性对现实世界的部署至关重要。虽然有几个公共多模态数据集可以访问，但它们主要包括两种传感器模态（照相机、激光雷达），它们不太适合不利的天气。...
【多模态LLM】多模态理解评测标准（图生文）
发现问题，并解决问题，批判性思维
08-03 2236
# note - 评测图片识别、理解、分析、推理能力；评测多轮对话；扩大评测场景（日常生活、教育娱乐等） - SuperClue-V采用6个标准，即正确性、相关性、流畅性、知识延伸、输出样式多样化、多感官信息融合，来定量的评价模型在所构建的指标下的表现能力，其中正确性、相关性、流畅性这三个指标设置为基础等级，旨在区分头部模型与一般模型的能力，而知识延伸、输出样式多样化、多感官信息融合这三个指标设置为扩展等级，旨在进一步区分头部模型之间的能力 @[toc] # 一、图生文LLM评测标准 文章地址：ww
VLM理解（一）——视觉文本信息的标注与数据集制作过程
hooksten的博客
03-23 826
先来认识一下数据集结构及其制作过程。以上三篇中，DriveLM对于数据集的处理是最为清晰的，所以也按照它的格式来介绍视觉驾驶模型的标注。
单卡就能训的VLM来了！中科院提出MiniDrive：各项指标完爆当前SOTA~
CV_Autobot的博客
09-14 1005
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享中科院最新的工作—MiniDrive！单卡就能训的VLM！如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询>>点击进入→自动驾驶之心『VLM』技术交流群论文作者|Enming Zhang...
多模态大模型——任务、评估、数据集
pan的博客
03-17 3580
参考链接：https://zhuanlan.zhihu.com/p/671638798。
上海AI Lab、天津大学发布MIS数据集，揭示多模态大模型安全微调瓶颈
Paper weekly
02-11 758
引言在视觉语言模型（VLMs）展现出强大的指令跟随和视觉能力的同时，如何提升模型的安全能力是迈向 AGI 的重要问题。一些工作[1, 2]发现通过引入安全相关的外部监督信号对大模型进行微调可以让其在安全相关的 Benchmark 上获得很低的 Attack Success Rate（ASR）。然而，这些 Fine-Tuning-Based 方法在有用性-无害性的权衡中难以获得平衡，并且在需要更复杂...
多模态大语言模型调研《MM-LLMs: Recent Advances in MultiModal Large Language Models》简要介绍
qq_37261357的博客
04-03 1702
题目：MM-LLMs: Recent Advances in MultiModal Large Language Models论文：https://arxiv.org/pdf/2401.13601.pdf?项目主页：https://mm-llms.github.io/GPT诞生以来，一向以强大的自然语言处理能力而著称，人们试着将大型语言模型（Large Language Models，LLM）的强大推理和生成能力在除文本以外的模态数据上应用起来。例如图像、视频、音频、3D点云等。
大模型的一些评价指标
m0_53291740的博客
12-01 1090
(python 包名为 vlmeval) 是一款专为大型视觉语言模型 (Large Vision-Language Models， LVLMs) 评测而设计的开源工具包。该工具支持在各种基准测试上对大型视觉语言模型进行一键评估，准备工作，让评估过程更加简便。在 VLMEvalKit 中，我们对所有大型视觉语言模型生成的结果进行评测，并提供基于精确匹配与基于 LLM的答案提取两种评测结果.
YouKu-mPLUG最大中文视频数据集和Benchmark，助力多模态大型模型发展
Paper weekly
06-29 659
阿里达摩院发布千万级视频数据集 Youku-mPLUG，这是目前中文社区内最大的、公开的高质量视频-语言数据集。该数据集是从中国著名的视频分享网站优酷中 4 亿视频严格筛选而来，Youku-mPLUG 包含来自 45 个不同类别的 1000 万个高质量中文视频-文本对，是进行大规模多模态预训练的理想数据源。此外，为了便于对视频-语言模型进行全面评估，达摩院的研究者精心构建了最大的人工标注中文 Be...
最难多模态Benchmark？目前MLLM的缺陷以及值得注意的点
AIBigModel的博客
09-07 1354
本文提出了 MME-RealWorld 基准测试,旨在解决现有 MLLM 评估中的关键局限性,如数据规模、标注质量和任务难度。作为迄今为止最大、分辨率最高的纯人工标注数据集,MME-RealWorld 得益于 32 名标注者的参与,确保了高质量数据和最小的个人偏差。大多数 QA 对都集中在自动驾驶和视频监控等现实世界场景上,这些场景具有重要的适用性。
检测和缓解大型视觉语言模型中的幻觉现象：基于细粒度AI反馈的方法
Together_CZ的博客
01-13 1090
检测和缓解大型视觉语言模型中的幻觉现象：基于细粒度AI反馈的方法 Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback
vLLM 推理引擎性能分析基准测试
热门推荐
技术分享，读书笔记，面试宝典，算法积累，应有尽有～
10-16 1万+
本文为 vLLM 推理引擎根据官方提供的数据集进行的性能基准测试，主要测试分析 --enable-chunked-prefill 的启用/禁用以及 --max-num-batched-tokens 参数的调整对性能的影响情况...
大模型LLM入门到进阶 | 基准测试 Benchmark（二）什么是NLP（自然语言处理）？自然语言处理基准测试
Androiddddd的博客
09-20 1249
NLP使用了统计学、机器学习、深度学习等多种技术，通过处理大量的文本数据和语言规则，从而提取出语义、情感、信息等。
【揭秘】国内十大顶尖AI大模型，引领智能科技新纪元
m0_45854443的博客
07-02 3604
这些模型由数百万到数十亿甚至更多的参数组成，需要海量的数据和强大的计算资源进行训练和推理学习的模型。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。简介： 天工AI作为昆仑万维在AI领域的旗舰产品，以其强大的核心能力和广泛的应用场景，正在逐步改变人们的生活习惯和工作方式，成为人工智能时代的“超级大模型”。简介： 容联云赤兔大模型面向企业应用的垂直行业多层次大语言模型，可以搭建自己的智能客服和数智化营销，完成从“降本增效”到“价值创造”的进化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值