提示工程推荐：《第8章推理提示》读书笔记-CSDN博客

本文链接：https://blog.csdn.net/alphaAIstack/article/details/147343095

探秘 AI 原生应用开发：〈提示工程原理与实战〉研读笔记系列
🛒 京东图书：https://item.jd.com/14976580.html

最近，我阅读了《AI
原生应用开发：提示工程原理与实战》一书，它为我打开了大语言模型与提示工程领域的新视野。为了更好地消化书中的知识，加深对相关内容的理解，我决定撰写一系列的读书笔记。

在这里插入图片描述

一、核心内容概述

本文聚焦大语言模型的推理能力，深入探讨如何运用思维链提示工程技术提升其推理性能。随着大语言模型在多领域广泛应用，其推理能力的优化成为关键。文章围绕推理提示展开，详细介绍了基础、进阶和高阶思维链提示技巧，分析了不同提示方法的特点、应用场景及优劣，还创新性提出自由辩论提示和圆桌会议提示，旨在为AI原生应用的推理任务提供有效技术支撑。

二、重点知识梳理

（一）大语言模型推理基础

推理能力发展历程：人类利用计算机科学进行推理，从早期符号逻辑推理系统（如Prolog、MYCIN），到神经网络，再到大语言模型，技术不断演进。大语言模型凭借“涌现能力”，能完成多种复杂任务，但该能力受模型参数和提示方式影响，不稳定。
基础思维链提示技术
- 零样本提示：利用预训练模型直接执行任务，无需示例样本，通过设计合适指令引导输出。优点是灵活，缺点是提示质量影响大，易受干扰出错。
- 少样本提示：在输入中添加范例样本，让模型依示例规律学习输出。在简单任务表现较好，但复杂推理任务仍有局限，且样例的选择、排列等因素影响模型性能。
- 少样本思维链提示：在少样本提示基础上增加思维链，形成<问题，思维链，答案>三元组，引导模型学习推理过程，提高推理性能。
- 零样本思维链提示：用通用触发器代替人工设计样例，分为两阶段（推理抽取和答案抽取）和一阶段（一步到位思考推论并给出答案）两种实现方式，能提高部分推理任务性能，但受模型知识和触发器限制。

（二）进阶思维链提示技术

思维表提示：借助表格形式分步推理，将问题拆分为步骤，以表格呈现事件和答案，让模型依据表格生成最终答案。具有推理过程明晰有序、可多角度推理的优点，但依赖人类先验知识设计表格，且受模型限制。
自我一致提示：利用大语言模型多样性解决复杂推理问题，通过推理生成、多路采样和答案选择三个阶段，模拟人类多重视角和统一性，提高输出质量，但计算资源和时间消耗大，不适合创意或主观性任务。
由少至多提示：将复杂问题自顶向下分解为简单子问题，利用模型自动生成子问题及答案，再汇总得出最终结论，克服了人工设计思维链的局限，可应对新问题。
自问自答提示：通过让模型自我提问和回答，将复杂问题细化为子问题解决，可结合大语言模型内置知识或外部检索工具获取答案，提高思维链质量和可解释性，增强泛化能力。

（三）高阶思维链提示技术

思维树提示：针对大语言模型处理复杂问题时缺乏全局规划和回溯能力的问题，将问题求解过程用树形结构表示，通过问题拆解、扩展子节点（想法生成和状态评估）和生成答案三个阶段，探索不同路径，自我评估选择最佳方案，适用于多步推理和探索多种可能性的任务。
推理 - 行动提示：模拟人类推理和行动融合过程，让大语言模型交替生成推理追踪和行动，并与外部工具交互获取反馈，动态更新行动计划，适用于多种智能体场景，能应对复杂任务挑战。
自动思维链提示：利用大语言模型自身生成能力和多样性构建推理示例，减少人工设计工作量。通过构建候选示例样本、候选示例样本聚类、示例采样和生成答案四个阶段，提高模型推理效果。

（四）创新思维链提示技术

自由辩论提示：模拟辩论过程，由双方辩手交替发言批判并提出新观点，最后由裁判总结。可激发模型产生更有逻辑、说服力的输出，提高模型处理长文本和复杂问题的能力，适用于有争议性、需多方面考量的问题。
圆桌会议提示：模拟圆桌会议场景，由主持人陈述问题，不同角色参会人员轮流发言，最后主持人总结答案。能激发模型产生丰富、深入、有创意的输出，适用于需要多方面知识和观点的任务。

三、学习收获与思考

（一）收获

系统学习了大语言模型推理提示的多种技术，了解到不同提示技术的原理、操作方法及适用场景，掌握了根据问题复杂程度选择合适提示技术的方法，认识到思维链提示技术通过模拟人类思考逻辑，有效激发大语言模型推理潜能，在提升模型推理能力方面具有重要作用。同时，也明白了大语言模型虽有强大能力，但在推理方面仍需不断优化，提示工程技术为其发展提供了关键支持。

（二）思考

不同大语言模型对相同提示方法的响应存在差异，且模型更新可能导致提示失效。在实际应用中，如何根据模型特点和更新情况，快速调整和优化提示策略，以保证推理效果的稳定性，是需要深入研究的问题。随着大语言模型应用场景不断拓展，推理任务的复杂性和多样性增加，现有的提示技术可能无法满足所有需求。如何结合新的技术趋势，如知识图谱、强化学习等，创新提示方法，提升大语言模型在复杂场景下的推理能力，是未来研究的重要方向。此外，在实际业务中应用这些提示技术时，还需考虑成本、效率和可解释性等多方面因素，如何在保障推理效果的同时，平衡这些因素，实现技术与业务的深度融合，也是亟待解决的问题。