CoT-Decoding

公众号/视频号/小红书/微博     ：人工智能技术派
人工智能技术派(AITECH)成员：hws

• ⎣优化技术⎤
• 一种解码策略优化技术：目标是不需要任何显示的CoT prompting，能够有效提升大型语言模型在各种推理任务中的表现，并通过自发地揭示CoT推理路径，改善模型的推理能力和准确性。

背景介绍

大模型推理，prompt会在很大程度上影响结果准确性，因此很多公司专门设置"prompt工程师"这个职位，显然就像先前NLU写规则一样，获取适合任务的prompt也渐渐成为一个非常耗费人力的方向，那么是否可以在保证精度的情况下，跳过编写prompt这个流程？

方案阐述

既然通过合适的prompt可以获理正确的结果，那么理论上即使不需要任何explicit的CoT prompting，包含CoT过程的解码路径（decoding path）也是自然存在于LLM之中的，作者实验发现，只要多输出接个结果就模型就会给出正确的结果。

归纳总结

从实现方案及效果来看，该技术方案离“不需要任何显式的CoT prompting”还有一定距离。

  1. 计算量增加：从Figure-3可以看出，通常topk越大效果越好，但与之相应的是计算量也会增加

2. 效果比few shot 要差：从Figure4可以看出：效果比Few-shot CoT差，在token数小于40时，甚至小于zero-shot

3. 应用领域受限：确定答案区间比较重要，针对不同的任务答案区间的确定方法不统一

参考文献

• https://arxiv.org/pdf/2402.10200v1.pdf
• Google | 提出CoT解码新方法，无需Prompt，就能让大模型(LLM)进行CoT推理
• 为什么 chain of thoughts 能提升 prompt 效果？ - 知乎

如遇排版问题，请参阅创作链接