强化学习曾小健

别担心，这篇文章将为你揭开Prompt的神秘面纱，带你走进Prompt的魔法世界！一个精心设计的Prompt，能够引导AI生成更精准、更有价值的内容，帮助你节省时间、提高效率。示例Prompt：“为一款主打环保理念的咖啡馆设计一套视觉识别系统，包括logo、色彩方案和字体选择，风格要简洁现代，体现环保理念。示例Prompt：“创作一个发生在未来世界的科幻故事，主角是一名人工智能工程师，故事要探讨人工智能与人类的关系。: 明确你希望AI如何回答，例如“用列表形式呈现”、“用通俗易懂的语言解释”。

而软提示则自动学习,高效且支持多任务,但不可解释。两种方法各有利弊,通常需要结合使用以发挥最大效力。它们通常由人类专门为解决特定任务而精心设计。人工手动设计的文本提示,包含离散的输入标记。软提示是可学习的连续向量,可通过。针对特定数据集进行优化。人工努力来设计出好的提。

DSPy（"Declarative Self-improving Language Programs (in Python)"，发音为 "dee-es-pie"）[1] 是斯坦福大学 NLP 研究人员开发的 "基础模型编程 "框架。它强调编程而非提示，并将构建基于 LM 的管道从操作提示转向编程。因此，它旨在解决构建基于 LM 应用程序时的脆弱性问题。DSPy 还将程序的信息流与每一步的参数（提示和 LM 权重）分离开来，为构建基于 LM 的应用程序提供了更系统的方法。

MedPrompt由微软研究人员开发的一个提示工程框架，利用多个组件来实现结果。三个主要组件是：动态小样本、自动生成的思维链 （CoT） 和选择随机集合。本文将在下一节中深入探讨每个问题。虽然最初是为了测试医疗基准而开发的，但 MedPrompt 可以应用于任何领域，并且具有易于为任何团队实施的模块化组件。

在微软的案例中，具体来说，就是为GPT-4准备医学领域的预训练数据，在GPT-4回答用户领域问题之前，先通过检索的方法从训练数据中找到近似的问答结果，然后构造few-shot案例，嵌入用户的输入中，再让模型回答问题。这个过程发生在预处理阶段，将所有的领域数据通过自生成思维链技术进行处理，生成一个更加优质的Prompt示例，这样在动态few-shot选择的时候可以获得更加高质量的prompt模板。通过这种方法，研究者能够减少模型在回答多项选择题时对特定选项位置的偏好，从而提高答案的准确性和模型的可靠性。

致力于分享最新的人工智能技术、应用和趋势在Open AI忙于决定他们的CEO时，他们最大的竞争对手Anthropic发布了Claude 2.1的更新，最令人瞩目的就是现在可以一次性处理200k长度的token。

例如，对于儿童教育内容，模型可以采用轻松、活泼的语气来吸引他们的注意力，而对于专业技术课程，模型可以采用更正式、严谨的语气来传递知识。在反向查询模式中，大模型被要求以一种特殊的方式工作：首先，它接收一个输出或响应作为启动条件，然后被要求生成最适合的查询或输入，以产生特定的输出。然而，采用本模式，搜索引擎可以尝试根据用户查询的意图提供相关的内容，即使没有完整的答案，也能提供一些相关信息或指导。例如，当客户提出问题时，语言模型可以以礼貌和亲切的语气回应，并提供清晰明了的解决方案，从而增强客户满意度。

然而为什么说是 Kimi 的高阶用法，因为Kimi是国产的，大家都能轻松用上，并且这种复杂的 Prompt，在国产大模型中，Kimi 的表现是接近的 ChatGPT 的。而正确的方式是，让大模型变成一个论文写作的智能体，你给大模型定义一系列任务，让它来完成，但为了避免它一条道走到黑，在它执行每项任务时候需要跟你确认详细信息，得到你的点播。里面的任务不是简单的串行任务，有逻辑判断的分支任务，甚至还有自己定义的函数，非常复杂，感兴趣的朋友可以研究。今天给大家分享Kimi的高阶玩法，充分发挥大模型的能力。

这些都是非常深奥而有趣的哲学问题,需要我们深入探讨和思考。关于世界本源的问题,不同的哲学流派有不同的看法。原子论认为物质世界是由原子构成的,但量子物理发现物质具有波粒二象性,可能无限可分。唯心主义认为世界源于精神和观念。而二元论主张物质和精神并存。总的来说,对世界本源的认识仍有待进一步研究。我认为,物质世界客观存在,但人的主观能动性能改造世界。马克思主义哲学强调物质第一性,但也强调人的实践和认识能动作用。我们应秉持辩证唯物主义,既尊重客观规律,又发挥主观能动性,在实践中不断认识和改造世界。

我将要求您准备一页纸的设计合作伙伴协议草案，该协议是一家拥有知识产权的技术初创公司与该初创公司技术的潜在客户之间的协议，该客户为该初创公司正在解决的问题空间提供数据和领域专业知识。我的第一个请求是“我需要帮助制定决策的道德框架。我会告诉你我的时尚偏好和体型，你会建议我穿的衣服。我的第一个请求是“我有一个正式的活动要举行，我需要帮助选择一套衣服。我的第一个建议请求是“我需要帮助写一篇关于减少环境中塑料垃圾的重要性的有说服力的文章”。我的第一个建议请求是“我需要帮助评论这部科幻电影”来自美国的黑客帝国。

CTRL不仅是一个自然语言处理问题的解决方案，同样也可应用到其它的序列处理问题之中。从NLP的演进可以看到，用无标注数据训练模型，生成一般性“常识”逐渐成为主流。人工不可能标注海量信息，目前，人们正试图使用更多知识和分析方法处理信息，并将知识融入模型结构，使人与工具更好地结合，并生成更加可控的模型。

这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。和前两章微调LM和全部冻结的prompt模板相比，微调Prompt范式最大的区别就是prompt模板都是连续型（Embedding），而非和Token对应的离散型模板。核心在于我们并不关心prompt本身是否是自然语言，只关心prompt作为探针能否引导出预训练模型在下游任务上的特定能力。性价比高！

本文提出一种更好的微调方法，通过加入前缀实现统一模型在不同任务上的微调，实现小样本学习，极大地减少了参数量。目前对于前缀的构造，大致可以分为本文的连续前缀和离散前缀（自动生成或手动设计），对于在摘要任务上加入离散前缀，有点类似于从对话中提取特征或结构，但这种方法的优势就在于它不需要大量的样本，而传统的融入结构的方法仍然需要很多样本。但是对于很多生成任务来说，找到合适的离散的前缀进行优化是非常困难的，尽管它的效果是不错的。目标函数依旧是公式（2），但是语言模型的参数是固定的，只更新前缀参数。

海外不仅是卖货的目标市场，尽快成为全球化的公司，才能建立起真正的护城河。这种情况发生的原因是，这些token在互联网上出现了很多次（例如，davidjl用户在Reddit上有163000个帖子，仅仅是计算递增的数字），但是这些token本身并不难以预测（因此，在训练过程中，梯度变得几乎为零，并且嵌入向量会衰减到零，这是某些优化器在归一化权重时会进行的操作）。而“zan”不是一个在英语中独立存在的单词，但也是一个常见的字符序列，因此仍然值得拥有自己的token，所以它的token ID为15201。

第一步，裸文章加引用：第二步，列出引用。

到目前为止，显而易见的是，改进提示有助于在不同任务上获得更好的结果。这就是提示工程背后的理念和目标。虽然介绍的基本示例已经很有趣，但在接下来的几篇教程中，我们将介绍更高级的 Prompt 提示工程技巧，使我们能够完成更复杂且有趣的任务。有意思的是，你可以看到这些技巧背后的算法论文绝大部分都是华人领衔发表的。我们先从覆盖日常绝大部分提示场景的零样本和少样本提示开始。