多模态大模型-R1相关进展

已于 2025-03-19 20:50:48 修改
阅读量157 收藏
点赞数 3
文章标签： 自然语言处理 深度学习 人工智能 机器学习 语言模型
于 2025-02-23 21:34:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sanjinpal/article/details/145816180
版权
ThreeGold222
关注
LLM - 多模态大模型(MLLM) 的 Step-by-Step 推理步骤奖励 (R1-VL) 教程
AGI
03-20 896
通过高质量 思维链(Chain-of-Thought, CoT) 的推理数据，有监督微调(Supervised Fine-Tuning) 增强多模态大语言模型(MLLM) 的推理能力，导致模型只是模仿成功的推理路径，而不理解错误的推理路径。将 MLLM 的推理能力，超越 被动(Passively) 模仿正确推理路径，使用 逐步分组相对策略优化(StepGRPO)，通过 简单(simple)、有效(effective)、密集(dense) 的逐步奖励，自主提升推理能力。
Open-R1-Video：视频理解任务的新范式
gitblog_00778的博客
03-28 834
Open-R1-Video：视频理解任务的新范式 Open-R1-Video Open R1 Video-MLLM Version 项目地址: https://gitcode.com/gh_mirrors/op/Open-R1-V...
【MLLM】GRPO在多模态LLM的应用
发现问题，并解决问题，批判性思维
02-23 1094
# note - VLM-R1: A stable and generalizable R1-style Large Vision-Language Model。域外数据集上性能比SFT要好 - Open-R1-Video视频理解模型：为视频理解任务引入R1范式，开源训练代码和数据，用视频、查询和答案，使用GRPO训练，提升模型推理能力 @[toc] # 一、VLM-R1: A stable and generalizable R1-style Large Vision-Language Model
【复现DeepSeek-R1之Open R1实战】系列3：基础知识介绍
https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向
02-17 1741
本文先介绍HuggingFace的Open-R1项目，这是一个旨在系统性地重构DeepSeek-R1的数据集及其训练流程、验证paper里的成果，从而推进开源推理模型发展。通过构建Open-R1，阐明强化学习如何提升推理能力的，同时向开源社区分享可复现的项目，为未来基于这些技术开发新模型奠定基础。然后，再介绍一些大模型相关的概念和基础知识，如Tokenizer、SFT和GRPO等，便于大家深入去了解。掌握了这些基础概念和知识之后，我们再深入源码，逐行逐模块去分析，从而达到学会就能用的目的。
首个DeepSeek-R1全开源复现Open-R1来了
m0_63171455的博客
01-27 5258
huggingface出品，，短短一天已经冲上1.9k Star，这个仓库仍在建设中。的目标是构建流程中缺失的部分，以便每个人都可以复现并在此基础上进行开发。项目设计简单，主要包含以下内容：src/open_r1 包含用于训练和评估模型以及生成合成数据的脚本：grpo.py：使用GRPO在给定数据集上训练模型。sft.py：在数据集上对模型进行简单的SFT（监督微调）。evaluate.py：在R1基准测试上评估模型。generate.py：使用Distilabel从模型生成合成数据。
DeepSeek-R1的方法迁移到多模态大模型-开源Vision-R1实现方法思路
xx_nm98的博客
03-21 382
DeepSeek-R1的方法迁移到多模态大模型-开源Vision-R1实现方法思路刚开始琢磨使用DeepSeek-R1风格训练多模态R1模型，就看到这个工作，本文一起看看，供参考。先提出问题，仅靠 RL 是否足以激励 MLLM 的推理能力？结论：不能，因为如果 RL 能有效激励推理能力，Vision-R1-Zero 应该表现出生成复杂 CoT 的能力，并在基准测试中提升准确率。
万字长文详解DeepSeek-R1模型工作原理
python1234_的博客
02-11 1289
经过这些步骤后，得到了名为 DeepSeek-R1 的检查点，其在推理任务上的表现与 OpenAI-o1-1217 相当。例如，在 AIME 基准测试中，应用多数投票后，DeepSeek-R1-Zero 的性能从 71.0% 提升至 86.7%，超越了 OpenAI-o1-0912 的表现。DeepSeek选择了多个强基线模型进行了全面比较，包括 DeepSeek-V3、Claude-Sonnet-3.5-1022、GPT-4o-0513、OpenAI-o1-mini 和 OpenAI-o1-1217。
万字长文总结多模态大模型最新进展（Modality Bridging篇）
人工智能讲师分享前沿技术
07-30 725
因为该层专注于整合 [CLS] 特征以用于对比学习。MLP adapter：a two-layer SwiGLU MLP，用于将ViT的输出映射到与文本特征相同的空间。所有的图像特征在语言模型中共享相同的「位置编码 id」。Visual expert module：在 LLM 的每一层中引入可训练的 visual expert，其包含专门处理 image feature 的「QKV 矩阵」和「MLP 层」，以实现深度的视觉-语言特征对齐。
比较 DeepSeek-R1 模型：32B、70B 和 R1
2401_85343303的博客
03-12 1003
DeepSeek 是一家由梁文锋于 2023 年创立的中国 AI 公司，该公司在发布 DeepSeek-R1 模型后，在人工智能领域取得了重大进展。这种开源语言模型因其在推理任务中的表现而备受关注，可与 OpenAI 的 o1 等模型相媲美。值得注意的是，DeepSeek 仅用通常所需资源的一小部分就实现了这一目标，凸显了中国在 AI 技术领域的快速进步。
【LLM多模态】InternVL模型架构和训练过程
发现问题，并解决问题，批判性思维
07-13 9573
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
分享丨万字长文总结多模态大模型最新进展（Modality Bridging篇）
2401_85377976的博客
08-06 1215
因为该层专注于整合 [CLS] 特征以用于对比学习。MLP adapter：a two-layer SwiGLU MLP，用于将ViT的输出映射到与文本特征相同的空间。所有的图像特征在语言模型中共享相同的「位置编码 id」。Visual expert module：在 LLM 的每一层中引入可训练的 visual expert，其包含专门处理 image feature 的「QKV 矩阵」和「MLP 层」，以实现深度的视觉-语言特征对齐。
北大-DeepSeek与AIGC应用研讨会：深入了解DeepSeek-R1及大模型技术
02-28
文中不仅对比了DeepSeek-R1与GPT系列模型的关键能力和应用领域，还深入探讨了AIGC的各种模态生成技术和行业影响，并提供了选择和使用AIGC工具的方法论。此外，会议强调了AIGC技术所带来的挑战，如隐私保护、道德伦理...
多模态大语言模型arxiv论文略读（五十一）
Jamence的博客
04-30 847
➡️ 研究动机：为了探究语言-图像预训练模型是否可以从长描述中受益，研究团队首先使用预训练的多模态大型语言模型（MLLM）为3000万张图像生成详细的描述，然后在对比学习框架下研究这些长描述的使用。通过评估模型在不同扰动下的表现，研究团队希望揭示词汇重叠、跨语言迁移能力和对抗性扰动之间的关系，为未来的NLP应用提供有价值的见解。➡️ 研究动机：为了克服这些限制，研究团队提出了一种新的框架P2G，通过利用外部代理（如OCR代理和视觉定位代理）来增强MLLMs在高分辨率和文本丰富的视觉场景中的推理能力。
金融数据分析（Python）个人学习笔记（13）：自然语言处理
NEET_LH的博客
04-27 1094
自定义词典文件是一个纯文本文件，每行为一个词汇以及相应的词频和词性（词频和词性为可选项）
多模态大语言模型arxiv论文略读（四十六）
Jamence的博客
04-28 698
➡️ 研究动机：为了克服上述挑战，研究团队提出了一种新的框架——DialogGen，旨在通过整合多模态大型语言模型（MLLMs）和T2I模型，构建一个多模态交互对话系统（MIDS），以实现多轮文本到图像生成。➡️ 问题背景：近年来，大型语言模型（LLMs）的发展极大地推动了自然语言处理领域，而多模态大型语言模型（MLLMs）则进一步将视觉信息与文本信息结合，以实现更广泛的任务，如图像描述、视觉问答（VQA）等。然而，当前的多模态模型在处理图像中的嵌入文本时仍面临挑战，这限制了其在现实世界中的应用。
多模态大语言模型arxiv论文略读（五十三）
最新发布
Jamence的博客
05-01 555
实验设计了多种越狱方法，包括文本越狱和视觉越狱，以全面评估模型对越狱攻击的鲁棒性。研究发现，GPT-4和GPT-4V在文本和视觉越狱方法上表现出更好的鲁棒性，而Llama2和Qwen-VL-Chat在开源模型中表现更为稳健。实验结果表明，VTPrompt显著提高了GPT-4V和Gemini Pro在这些任务中的性能，特别是在MME和MMB数据集上，分别取得了显著的分数提升。实验结果表明，VoT显著提高了模型在所有任务中的表现，尤其是在自然语言导航任务中，VoT比禁用可视化的设置提高了23.5%的性能。
Prompt Engineering 提示工程：释放大语言模型潜力的关键技术与实践指南
bsklhao的博客
04-28 941
提示工程是一门精心设计输入指令以引导大型语言模型(LLM)生成高质量输出的艺术与科学。它通过优化与AI的"对话方式"，将通用模型转变为特定领域的"专家助手"。从技术角度看，提示工程是"设计、优化和实施提示或指令的实践，这些提示或指令用于引导大型语言模型的输出，以帮助完成各种任务"。发展历程上，提示工程的概念可追溯至1979年Pfaff提出的"控制代码"思想，但真正兴起于2019年GPT-2发布后。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值