AI多模态技术趋势分析：OpenAI O1进展及LLM-Self-Correction机制

最新推荐文章于 2025-04-12 14:49:12 发布
最新推荐文章于 2025-04-12 14:49:12 发布
阅读量953 收藏 20
点赞数 13
分类专栏： AI多模态 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AIGCmagic/article/details/144177062
版权

 〔探索AI的无限可能，微信关注“AIGCmagic”公众号，让AIGC科技点亮生活〕

​​

一. 大模型自我纠错相关资源

https://github.com/ryokamoi/llm-self-correction-papers

自我纠错综述：《When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs》

论文链接：https://arxiv.org/abs/2406.01297

涵盖内在自我纠错、外部工具辅助纠错、信息检索辅助纠错等。

二. OpenAI O1相关工作 

https://platform.openai.com/docs/guides/reasoning

1. OpenAI o1

Learning to Reason with LLMs

https://arxiv.org/abs/2409.18486

https://openai.com/index/learning-to-reason-with-llms/

2. Skywork-o1

https://huggingface.co/Skywork

https://huggingface.co/Skywork/Skywork-o1-Open-Llama-3.1-8B 

 

3. LLaVA-CoT

LLaVA-CoT: Let Vision Language Models Reason Step-by-Step

https://arxiv.org/abs/2411.10440 

 

4. Marco-o1

Towards Open Reasoning Models for Open-Ended Solutions

https://arxiv.org/abs/2411.14405 

 

5、QwQ

Reflect Deeply on the Boundaries of the Unknown

https://qwenlm.github.io/blog/qwq-32b-preview/

https://huggingface.co/Qwen/QwQ-32B-Preview 

 

6. Steiner

https://medium.com/@peakji/a-small-step-towards-reproducing-openai-o1-b9a756a00855

https://huggingface.co/collections/peakji/steiner-preview-6712c6987110ce932a44e9a6 

 

7.  DeepSeek-R1-Lite-Preview

https://api-docs.deepseek.com/news/news1120 

8. O1 Replication Journey

https://github.com/GAIR-NLP/O1-Journey 

 

9. openai-o1 推理prompt

https://openai.com/index/learning-to-reason-with-llms/

https://github.com/bradhilton/o1-chain-of-thought/tree/main/examples

 

10. COT数据合成方案 

g1: Using Llama-3.1 70b on Groq to create o1-like reasoning chains

https://github.com/bklieger-groq/g1

multi1: Using multiple AI providers to create o1-like reasoning chains

https://github.com/tcsenpai/multi1

 

推荐阅读

社区简介：

《AIGCmagic星球》，五大AIGC方向正式上线！让我们在AIGC时代携手同行！限量活动中！

《三年面试五年模拟》版本更新白皮书，迎接AIGC时代

AI多模态核心架构五部曲：

AI多模态模型架构之模态编码器：图像编码、音频编码、视频编码

AI多模态模型架构之输入投影器：LP、MLP和Cross-Attention

AI多模态模型架构之LLM主干(1)：ChatGLM系列

AI多模态模型架构之LLM主干(2)：Qwen系列

AI多模态模型架构之LLM主干(3)：Llama系列  

AI多模态模型架构之输出映射器：Output Projector  

AI多模态模型架构之模态生成器：Modality Generator

AI多模态实战教程：

AI多模态教程：从0到1搭建VisualGLM图文大模型案例

AI多模态教程：Mini-InternVL1.5多模态大模型实践指南

AI多模态教程：Qwen-VL升级版多模态大模型实践指南

AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理

LLaVA-CoT：让视觉语言模型逐步推理的艺术
步子哥的博客
11-27 838
科学的尽头是哲学，而哲学的尽头是幽默。”在当今AI的洪流中，语言模型（LLM）正以一种近乎哲学的方式推动推理能力的边界。然而，当我们将目光转向视觉语言模型（VLM）时，这些模型在面对复杂的多模态推理任务时，常常显得力不从心，逻辑紊乱甚至“胡说八道”。于是，LLaVA-CoT登场了！这是一款旨在进行自主多阶段推理的全新视觉语言模型，它不仅总结、解释图像，还能逐步分析问题，最终得出令人信服的答案。
LLM - 开源视觉多模态 LLaVA-CoT(o1) 深度推理模型 测试与源码 教程
AGI
12-07 1616
LLaVA-CoT，是 思维链(Chain-of-Thought, CoT) 的视觉语言模型，通过自主的多阶段推理，提升系统化和结构化推理能力，实现深度思考，包含总结摘要(SUMMARY)、视觉解释(CAPTION)、逻辑推理(REASONING)、结论生成(CONCLUSION) 等 4 个阶段，提出 推理时阶段级束搜索(Inference-Time Stage-Level Beam Search) 方法，以实现有效的推理时扩展，结果表明在多模态推理基准测试中，超越基础模型和其他更大、甚至是闭源的模型。
（2024，LLaVA-CoT，Llama-3.2-Vision，链式推理，系统性结构化推理，推理扩展（阶段级束搜索））
qq_44681809的博客
01-13 1383
LLaVA-CoT 是一种多阶段推理的 VLM。不同于链式推理提示，它独立执行总结、视觉解释、逻辑推理和结论生成的连续阶段。这种结构化方法可提升在需要推理能力的任务的精度。此外，推理阶段级束搜索可实现高效的推理阶段扩展
同一个问题看看Grok3怎么说-QwQ、Qwen 2.5 Max、Claude 3.7、Grok3和Deepseek V3各自的优点和缺点是什么？
释迦呼呼的博客
03-14 1318
此外，在 MMLU-Pro（知识和推理）上得分 76.1，略低于 Claude 3.5 Sonnet（78.0）和 GPT-4o（77.0），在 LiveCodeBench（编码能力）上得分 38.7，略低于 Claude 3.5 Sonnet（38.9），表明在某些特定领域可能表现稍弱。的比较，它在 Arena-Hard（偏好基准）上得分 89.4，领先 DeepSeek V3（85.5）和 Claude 3.5 Sonnet（85.2），在 LiveBench（总体能力）上得分 62.2，超越两者。
PyTorch强化学习——PyTorch基础详解
AAI666666的博客
02-02 1653
我们将使用 PyTorch 作为实现强化学习算法的数值计算库。PyTorch 是 Facebook 开发的科学计算和机器学习库，张量 (Tensor) 是 PyTorch 中的核心数据结构，类似于 NumPy 中的 ndarray。
AI多模态论文解读：LLaVA-CoT：让视觉语言模型逐步推理
AIGCmagic的博客
01-10 1545
LLaVA-CoT（Let Vision Language Models Reason Step-by-Step），一种旨在通过多阶段推理来增强视觉语言模型（VLM）系统性和结构性推理能力的新模型。LLaVA-CoT将答案生成过程分解为四个结构化推理阶段：总结、标题、推理和结论。模型提供问题的高层次总结，概述将要解决的问题的主要方面。如果存在图像，模型提供与问题相关的视觉元素的简洁概述，帮助理解多模态输入。基于初始总结，模型进行结构化和逻辑推理，得出初步答案。模型综合前面的推理，生成最终答案。
LLM - 理解 多模态大语言模型(MLLM) 的 评估(Evaluation) 与相关技术 (六)
AGI
09-19 1768
评估(Evaluation) 是研发 多模态大语言模型(MLLM)的重要部分，为模型优化提供反馈，有助于比较不同模型的性能。与传统多模态模型的评估方法相比，MLLM 评估表现的特点包括，由于 MLLM 通常具有通用性，因此全面评估 MLLM 非常重要。MLLM 展现出许多 涌现(Emergent) 能力，需要特别关注，例如，无需 OCR 的数学推理，因此需要新的评估方案。根据问题类型，MLLM 的评估可以分为两个大类，即 封闭集(closed-set) 和 开放集(open-set)。
LLM - 理解 多模态大语言模型(MLLM) 的 幻觉(Hallucination) 与相关技术 (七)
AGI
09-23 1529
多模态幻觉(Hallucination) 是多模态大语言模型的生成回复与图像内容不一致的现象。多模态幻觉包括 3 种类型，即：存在幻觉(Existence Hallucination)，最基本形式，模型错误地声称图像中存在一些对象。属性幻觉(Attribute Hallucination)，以错误的方式描述对象的属性，例如未能正确识别狗的颜色。通常与存在幻觉相关联，因为属性的描述是基于图像中存在的对象。关系幻觉(Relationship Hallucination)，更复杂的类型，也基于对象的存在，对象之间
NL2SQL进阶系列(4)：ConvAI、DIN-SQL、C3-浙大、DAIL-SQL-阿里等16个业界开源应用实践详解[Text2SQL]
丨汀、的博客
04-13 3898
NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL]
Video Encoder：多模态大模型如何看懂视频
最新发布
kakaZhui的博客
04-12 404
大型语言模型（LLM）已经掌握了理解文本的超能力，而多模态大模型（MLLM）则更进一步，让 AI 拥有了“看懂”图像的眼睛。但这还不够！真实世界是动态的、流动的，充满了运动、变化和声音。视频，正是承载这一切动态信息的关键媒介。让 LLM 看懂视频，意味着 AI 需要解锁一系列新技能：理解动作事件、把握时序关系、建立因果联系、关联声音画面、捕捉长期依赖… 这比看懂静态图片要复杂得多！视频数据**高维度、长时序、多模态（视+听）**的特性，给模型带来了巨大的挑战。
LLM论文：SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions
weixin_52600653的博客
04-09 1669
大型“指令微调”语言模型（即微调以响应指令的模型）已经展示了在零样本情况下泛化到新任务的卓越能力。然而，它们严重依赖于人类编写的指令数据，这些数据通常在数量、多样性和创造性上都是有限的，因此限制了微调模型的通用性。我们引入了SELF-INSTRUCT，一个通过利用它们自己的生成来提升预训练语言模型遵循指令能力的框架。我们的流程从一个语言模型生成指令、输入和输出样本，然后在使用这些样本来微调原始模型前，过滤掉无效或相似的样本。
LlamaV-o1：重新思考LLM中的逐步视觉推理
yorkhunter的博客
01-15 1388
25年1月来自 MBZUAI、U Central Florida、Linkoping 大学和澳大利亚 ANU 的论文“LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs”。 推理是解决复杂多步问题的基本能力，特别是在需要按顺序逐步理解的视觉环境中。现有方法缺乏评估视觉推理的综合框架，也不强调逐步解决问题。为此提出一个全面的框架，推进大语言模型 (LMM) 中的逐步视觉推理。首先，引入一个专门用于评估多步推理任务的视觉推理链基准。该基准提出
LLaVA-CoT：让视觉-语言模型逐步推理
yorkhunter的博客
01-15 1146
24年11月来自清华、北大、鹏城实验室和阿里等多个机构的论文“LLaVA-CoT: Let Vision Language Models Reason Step-by-Step”。 大语言模型在推理能力方面已取得重大进步，特别是通过推理时间的规模化，OpenAI 的 o1 等模型就是明证。然而，当前的视觉语言模型 (VLM) 通常难以执行系统性和结构化的推理，尤其是在处理复杂的视觉问答任务时。这项工作介绍 LLaVA-CoT，一种旨在进行自主多阶段推理的新型 VLM。与思维链提示不同，LLaVA-CoT
论文分享|NeurIPS2023|LLaVA-视觉指令微调
weixin_45783724的博客
07-11 1687
视觉语言经典大模型LLaVA追根溯源
1K star！开源版 GPT-o1 就来啦？！
m0_59163425的博客
09-18 2022
g1（全称是不是可能叫“Genius 1”，哈哈，我猜的）使用了一个叫做Llama-3.1 70b的模型，运行在Groq硬件上。这个项目尝试用一种新的方法来提升大型语言模型（LLM）的推理能力，目标是通过一种特殊的提示策略，让AI能够像人类一样进行逻辑推理，解决一些复杂的逻辑问题。想象一下，如果你的AI助手不仅能回答问题，还能像侦探一样一步步展示它的思考过程，如同o1一样，那岂不是很酷？开源仅仅几天时间就收获了近 1K star!
OpenAI o1式思维链，开源模型也可以有，成功案例来了
xx_nm98的博客
09-20 1148
北京时间 9 月 13 日午夜，[OpenAI 发布了推理性能强大的 ο1 系列模型]。之后，各路研究者一直在尝试挖掘 ο1 卓越性能背后的技术并尝试复现它。当然，OpenAI 也想了一些方法来抑制窥探，比如有多名用户声称曾试图诱导 ο1 模型公布其思维过程，然后收到了 OpenAI 的封号威胁。尽管如此，不过三四天时间，就已经有研究者宣称已经成功复现/开发出了与 ο1 性能差不多的推理技术，并且还不止一个！
OpenAI o1和o1-Pro模型：实际应用场景及用户体验分析
龙萱坤诺的专栏
12-09 4815
其新增的图像和文件上传的多模态能力，为用户提供了更丰富的交互方式。而o1 - Pro模型性能更为突出，在数学方面是o1 - preview的一倍，代码是其2倍，在处理博士级别的科学问题时，准确率提升至79.3%，解答美国数学竞赛试题的准确率则达到了85.8%。然而，对于需要处理复杂专业问题的小型企业、科研人员或专业人士，如在博士级别科学问题解答、美国数学竞赛试题解答等方面有较高准确率需求的用户，o1 - Pro模型虽价格高昂，但因其性能提升能带来更高的工作效率和准确性，在特定场景下也具有一定的性价比。
主流VLM原理深入刨析（CLIP，BLIP，BLIP2，Flamingo，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
热门推荐
ZhengrongYue的博客
12-28 1万+
MLM（CLIP，BLIP，BLIP2，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值