多模态大模型：关于Better Captions那些事儿

已于 2023-12-24 14:43:42 修改
阅读量901 收藏 9
点赞数 11
分类专栏： 多模态大模型 文章标签： 论文阅读 人工智能 AIGC 计算机视觉
于 2023-12-23 17:43:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/135171264
版权
本文介绍了两个旨在优化多模态大模型Caption数据集的研究：ShareGPT4V和CAPSFUSION。ShareGPT4V通过GPT4V生成高质量图像描述，改进了预训练和微调阶段的数据质量，提升了模型性能。CAPSFUSION则提出融合原始和合成Caption的方法，解决了Synthetic Caption的局限性，提高了模型的常识理解和规模效益。
摘要由CSDN通过智能技术生成

Overview

Better Captions are important for LMM training

一、ShareGPT4V

题目: ShareGPT4V: Improving Large Multi-Modal Models with Better Captions
机构：中科大，上海人工智能实验室
论文: https://arxiv.org/pdf/2311.12793.pdf
代码：https://sharegpt4v.github.io/
任务: 多模态大模型CAPTION数据集质量优化
特点: 提出一个大规模更高质量的图像caption数据集
方法: 利用GPT4V
前置相关工作：LLaVA-Instruct，Qwen-VL

了解本专栏 订阅专栏 解锁全文 超级会员免费看
猴猴猪猪
关注
专栏目录
订阅专栏
多模态大模型：技术原理与实战 多模态大模型评测数据集
AI天才研究院
07-17 918
多模态大模型：技术原理与实战 多模态大模型评测数据集 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 多模态大模型，技术原理，实战案例，评测数据集，自然语言处理，计算机视觉，融合技术
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 1116
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
【多模态】36、ShareGPT4V | 借助 GPT4V 的能够来生成更丰富的 caption 用于提升 LMM 模型的能力
呆呆的猫的博客
06-06 1223
本文主要介绍 ShareGPT4V
大模型时代，图像描述生成（image caption）怎么走？
LDC1314?
08-18 6256
图像生成文本描述，图像检测与大语言模型相结合效果
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language ModelsMME：多模态大语言模型综合评估基准
Mars_prime的博客
12-11 3951
在本节中，我们对 MME 基准进行了大量实验，以评估总共 12 个开源 MLLM，包括 BLIP-2、LLaVA、MiniGPT-4、mPLUG-Owl、LLaMA-Adapter-v2、Otter、Multimodal-GPT、 InstructBLIP、VisualGLM-6B、PandaGPT、ImageBind-LLM 和 LaVIN。细粒度的识别更多的是测试MLLM的知识资源。为了推断出正确的答案，MLLM需要遵循指令，感知图像的内容，并调用LLM中保留的知识，这比单一的感知任务更具挑战性。
NLP实践——VQA/Caption生成模型BLIP-2的应用介绍
weixin_44826203的博客
02-16 8781
本文介绍最新的图文生成模型BLIP-2，从下载安装到简单的应用。
《Dynamic Routing Between Capsules》论文学习总结
十二月未央未眠
05-25 238
author: Geoffrey E. Hinton etc. years: 2017 institution: google brain ★论文相关技术已申请专利 Abstract A capsule(胶囊) is a group of neurons, whose activity vector(激活向量) represents the instantiation parameters(实例化参数) of a specific type of entity(特定类型的实体) such as an o
多模态大模型是新一代人工智能技术范式
热门推荐
weixin_43178406的博客
05-02 5万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
openai多模态大模型：clip详解及实战
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
08-20 5万+
零次学习（Zero-Shot Learning，简称ZSL）假设斑马是未见过的类别，但根据描述外形和马相似、有类似老虎的条纹、具有熊猫相似的颜色，通过这些描述推理出斑马的具体形态，从而能对斑马进行辨认。零次学习就是希望能够模仿人类的这个推理过程，使得计算机具有识别新事物的能力，如下图所示。如今深度学习非常火热，使得纯监督学习在很多任务上都达到了让人惊叹的结果，但其限制是：往往需要足够多的样本才能训练出足够好的模型，并且利用猫狗训练出来的分类器，就只能对猫狗进行分类，其他的物种它都无法识别。
《AI大模型应用》-《多模态大模型：新一代人工智能技术范式》 .zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
多模态大模型：关于RLHF那些事儿
pku_langzi的博客
12-24 937
RLHF在多模态大模型方面的应用
一文读懂Hinton最新Capsules论文
zchang81的博客
10-29 8349
作者尝试用浅显的语言，把论文《Dynamic Routing Between Capsules》梳理一下，有助于理解。
SnapFusion技术加速AI图像生成 编程实现
CyberXZ的博客
10-01 86
为了应对这一问题，研究人员提出了一种名为SnapFusion的技术，可以显著提高AI图像生成的速度和效率。SnapFusion技术利用了深度学习的强大能力，通过对图像生成算法进行优化和并行化，从而实现了快速的图像生成。总结起来，SnapFusion技术通过并行化生成过程和算法优化，实现了AI图像生成的快速和高效。算法优化：SnapFusion对图像生成算法进行了优化，通过减少冗余计算和内存使用，提高了算法的效率。最后，我们得到了生成的图像结果。类，其中包含了图像生成模型的构建和生成图像的方法。
点云论文阅读-1-pointnet++
weixin_43899239的博客
11-12 272
pointnet局限性：不能获取局部结构信息作者提出pointnet++如何确定球的尺寸，类似于如何确定CNN的卷积核尺寸。利用了多尺度邻域以同时实现鲁棒性和细节获取。
【论文笔记】Wings: Learning Multimodal LLMs without Text-only Forgetting
小嗷犬的博客
11-09 1063
多模态大型语言模型（MLLMs）以训练好的LLM为基础，首先将图像与文本对齐，然后对多模态混合输入进行微调。然而，MLLM在灾难性地忘记了仅包含文本的指令，这些指令不包括图像，可以在初始LLM中解决。在本文中，我们提出了WINGS，这是一种新型的MLLM，在纯文本对话和多模态理解方面都表现出色。分析MLLM在多模态指令中的注意力发现，纯文本遗忘与从预图像文本到后图像文本的注意力转移有关。据此，我们构建了额外的模块，作为增强学习器来补偿注意力转移。
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
川川自溢的博客
11-11 871
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
论文阅读《机器人状态估计中的李群》
YMWM_的博客
11-09 915
李群是一个古老的数学抽象对象，可以追溯到19世纪，当时数学家 Sophus Lie奠定了连续变换群理论的基础。多年后，它的影响已经蔓延到科学和技术的各个领域。在机器人领域，我们最近正在经历一个重要的趋势，至少在估计领域，特别是在导航的运动估计方面。然而，对于绝大多数机器人专家来说，李群是高度抽象的结构，因此难以理解和使用。在机器人估计技术中，通常不需要充分利用李群理论的能力，因此需要努力选择合适的阅读材料。在本文中，我们将通过李理论的最基本原理，目的是传达清晰和有用的想法，并留下一个重要的李理论语料库。
论文阅读分享：基于弱监督的病理图像腺体分割
tjl521314_21的博客
11-11 225
● 弱监督学习可以在较少标注的情况下，生成像素级分割，适用于处理复杂的病理图像分割任务。因此，弱监督学习成为一种有效的替代方案，通过图像级标签实现分割，减少标注成本。● 伪掩码去噪与分割优化：为应对病理图像结构不规则、对比度低等问题，提出动态加权损失，以过滤伪掩码中的噪音，提高分割精度。● 随着深度学习在医学图像分割中的广泛应用，全监督学习虽然取得了优异表现，但由于需要大量像素级标注，应用受到限制。● 本研究进一步优化了伪掩码生成，通过重构模块增强图像的局部激活，以提高分割质量。弱监督学习的优势与方法。
论文阅读《BEVFormer v2》
最新发布
YMWM_的博客
11-12 314
我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值