yanqianglifei的专栏

我来为您翻译这篇关于思维链提示工程的文章，采用通俗易懂的中文表达：思维链(CoT)提示工程是生成式AI(GenAI)中一种强大的方法，它能让模型通过逐步推理来解决复杂任务。通过构建引导模型思考过程的提示，思维链能提高输出的准确性、连贯性和可靠性。本白皮书探讨了思维链提示工程的核心设计原则，提供实用案例，并概述了在各种应用中有效实施思维链的策略。生成式AI系统越来越多地用于需要逻辑推理、多步骤问题解决和上下文理解的任务。传统的提示方法往往导致输出缺乏深度或无法满足任务的复杂性。

RAG是一种人工智能技术，通过整合外部来源来增强大型语言模型。它允许模型对其产生的信息进行事实核查或校对。采用 RAG 驱动的人工智能模型被认为更可信和更新，因为引用外部来源增加了数据的可信度。这也可以防止模型产生过时的信息。RAG 系统的核心功能取决于外部数据集、其质量以及它们所受到的审查程度。如果 RAG 系统引用的外部数据集未经开发者消除偏差和刻板印象，则可能会嵌入偏差。

打个比方：你在考试，答题后写了解题思路。如果你真的是参考了书上的提示、或者你其实对这个知识点不太懂，那你在解释时也应该说出来。这才是“真实”的解释。对于AI来说，一条“真实”的思维链，应该是诚实地说明它是怎么一步步做出决定的，用了什么信息、参考了哪些内容。不是编的，不是事后找个借口来解释。

智能体是利用大模型执行任务的AI系统。它们通过自然语言理解用户需求，并规划任务执行步骤。例如，一个智能体可能被要求“安排下周二下午2点的会议”。为了完成此任务，智能体需要与外部工具交互，获取日历信息或创建事件。智能体通常依赖大模型来处理复杂任务，并通过标准接口（如MCP）调用外部工具。工具是提供特定功能的外部资源或服务。例如，日历工具可以管理预约，文件工具可以读写文档。函数是工具的具体操作，类似于方法或API端点。

在RAG（Retrieval-Augmented Generation）中，chunk是个关键步骤。它的核心目标，就是把语义相近的内容放在一起，语义不同的内容拆开，这样后续的检索（retrieve）和重排序（rerank）才能更有效。举个例子：今天天气很好，我和小明在一起打篮球。隔壁老王在家里看电视。小明的妈妈在家里做晚饭，晚上我去小明家吃饭。这段话其实表达了三个完全不同的意思，最理想的chunk方式，就是精准地把这三个部分分开，互不干扰。

DeepSeek-R1火了之后，Ai老板部署需求大大提升，抛开效果不谈，五件套易用性和灵活性相比VLLM大大提升，门槛较低，但是效果不言而喻。以下部署全部以docker方式进行，因为太方便了,但同时坑很多，请做好心理准备喜欢折腾的同学可以按照下面教程进行部署，我也是被逼无奈请杯子里面装满水，原地坐牢，不出意外的话就马上出意外了，一个BUG一支烟。

RAG（检索增强生成）它把检索系统和生成式 AI 结合起来，让 AI 回答得更准确、更贴合上下文。和普通的大语言模型（LLM）不同，RAG 不只是依赖训练时学到的知识，而是能实时从外部信息源查找内容，并用这些信息来生成更可靠的回答。RAG 的核心组成负责从外部数据源提取相关信息，确保 AI 的回答既准确又及时。检索做得好，AI 的输出质量就高；如果检索设计不合理，可能会导致无关答案、幻觉（AI 瞎编）或数据缺失。由大语言模型（LLM）来处理用户提问，并结合检索到的内容生成回答。

DeepSearch 可以理解为一种“高级的网页搜索代理”。传统的网页搜索代理通常只是用已有的搜索工具来收集信息，然后生成答案，它基本上只进行了一次搜索。而 DeepSearch 则在搜索过程中加入了“推理”这一环节。简而言之，DeepSearch 的工作原理是不断地进行“搜索 → 推理 → 搜索 → 推理…”的循环，直到找到最合适的答案，或者达到 Token 限制为止。下图展示了 DeepSearch 和传统网页搜索代理的处理流程对比。

在打造检索增强生成（RAG）应用时，选择合适的Embedding模型就像挑选合适的工具，直接影响到应用的表现和效果。​那么，面对众多的模型，我们该如何轻松找到最适合的那一款呢？​MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。MTEB 提供了一个公共排行榜，允许研究人员提交他们的结果并跟踪他们的进展。MTEB 还提供了一个简单的 API，允许研究人员轻松地将他们的模型与基准测试进行比较。

最近，基于大型语言模型（RLLMs）的推理能力取得了显著进展，例如OpenAI的O1和DeepSeek的R1，它们在数学、编程等复杂领域展现了强大的能力。然而，尽管已有这些突破，关于长链思维的全面综述仍然匮乏，这也限制了对其与传统短链思维（Short CoT）区别的理解，并使得“过度思考”和“测试时扩展性”等问题的讨论变得复杂。接着，探讨了长链思维的关键特征：深度推理、广泛探索和可行反思，这些特征使得模型能够处理更复杂的任务，且相比较浅的短链思维，能够生成更加高效、连贯的结果。

Reasoning模型也进化到2.0了，这次居然学会用工具了！✨ 最近有个叫START的方法，让大模型也能学着用工具，比如自己调用代码解释器，来提升推理和解决问题的能力。具体怎么实现的呢？它会把「思考链」和「工具调用」结合起来，给模型配上了自查、自我探索和自己修bug的能力。简单说，就是教模型边想边动手，用工具解决推理过程中的难题。具体的训练步骤大概是：1️⃣ 收集数学和编程题目，比如数学的AIME、MATH，编程的Codeforces、LiveCodeBench这些比赛题目。

我们平时接触的AI，很多都是快速的、直觉型的，类似人类的“系统1”，能快速回答问题，但碰到稍微复杂一点的任务，就可能“翻车”了。这篇论文探讨的，是如何让AI从这种“直觉型”思维，迈向更为深度和理性的“系统2”思维——也就是人类在面对复杂问题时，那种慢一点但更加谨慎和全面的思考模式。研究团队认为，实现真正的人工智能，关键在于如何有效地让AI从快速的直觉反应，过渡到深度的、理性的思考。仓库链接：https://github.com/zzli2022/Awesome-System2-Reasoning-LLM?

2️⃣。

Gemma 3 是 Google 最新的开放权重大型语言模型。它有四种尺寸，分别是 10 亿、40 亿、120 亿 和 270 亿 参数，包含基础（预训练）和指令调优版本。Gemma 3 支持 多模态！4B亿、12B和 27B参数的模型可以处理 图像 和 文本，而1B参数的模型仅限于文本。Ollma Gemma3模型权重合集Gemma 3作为Gemma系列的最新迭代，带来了以下几个关键的进步：Gemma 3整合了视觉理解能力，能够处理图像输入，扩展了模型的应用范围。

我的猜测是，研究人员受到了 DeepSeek-R1 论文中“顿悟时刻 (Aha moment)”图的启发，研究人员在图中看到 LLM 提出了类似“等等，等等。等等。这是一个顿悟时刻，我可以标记一下 (Wait, wait. Wait. That’s an aha moment I can flag here.)”的内容，这表明纯强化学习可以诱导 LLM 产生推理行为。有趣的是，他们还尝试了其他 token，例如“嗯 (Hmm)”，但发现“等待 (Wait)”的表现略好。

最近刷到一篇有意思的文章，讨论了大语言模型（LLM）对软件工程师影响的职级曲线。以工程师的职级差异视角出发，揭示了为什么不同经验水平的人对大语言模型的评价差异如此之大，提供了一个非常有趣的解释框架。关于大语言模型 (LLM) 有什么用，网上已经吵翻天了。有人认为它带来了生产力的巨大飞跃，也有人对此不以为然。现在，每个与此相关的 HackerNews 帖子下面，都会出现一长串争论不休的回复。我们称之为新的“大分歧”。

最近我们通过一些新闻博客包括LLMs产品的推出，DeepSearch和这两个词不断的映入我们眼帘。图片来源：Jina，DeepSearch 与 DeepResearch 的设计和实现一个有趣的发现是，DeepSearch 和 DeepResearch 不仅限于OpenAI，之前一直听说OpenAI的DeepResearch特别厉害，最近许多公司如 Jina AI、Perplexity 和 Google 也在开发类似工具。

人生中充满选择，每次选择就是一次决策，我们正是从一次次决策中，把自己带领到人生的下一段旅程中。在回忆往事时，我们会对生命中某些时刻的决策印象深刻：“唉，当初我要是去那家公司实习就好了，在那里做的技术研究现在带来了巨大的社会价值。”通过这些反思，我们或许能领悟一些道理，变得更加睿智和成熟，以更积极的精神来迎接未来的选择和成长。在机器学习领域，有一类重要的任务和人生选择很相似，即序贯决策（sequential decision making）任务。

指令微调是一种在带有指令提示和相应输出的标记数据集上微调大模型的技术，通过提供一组概述所需操作的指南或指令，使预训练模型适应执行特定任务。指令：“你是一个乐于助人、尊重他人且诚实的助手。始终尽可能有帮助地回答，同时确保安全。你的回答不应包含任何有害、不道德、种族主义、性别歧视、恶毒、危险或非法的内容。请确保你的回答在社会上不带有偏见，并且具有积极的性质。如果一个问题没有意义，或事实不连贯，请解释原因，而不是回答错误的内容。如果你不知道问题的答案，请不要分享错误信息。上下文：<<输入你的上下文>>

训练大型语言模型不是一个单一的过程，相反，它是一个多层的训练过程组合，每个过程都有其独特的作用，并对模型的性能做出贡献。阶段1：自我监督学习（Self-Supervised Learning）：自我监督学习是一种特殊形式的无监督学习，主要通过数据本身的内在结构来生成标签，而不需要人工标注的标签。比如LLM中的预训练。阶段2：监督学习（Supervised Learning）：监督学习是机器学习中最常见的一种方法，其中模型通过带有标签的训练数据进行学习，目的是从输入数据和其对应的标签中找到映射关系。