草稿链（CoD）：AI推理的新纪元

引言

随着人工智能技术的不断进步，大型语言模型（LLM）在处理复杂任务上的表现越来越出色。然而，这些模型往往伴随着高昂的计算成本和延迟问题，特别是在实时应用场景中，这对用户体验提出了挑战。为了解决这些问题，来自Zoom的华人研究团队提出了一项名为“草稿链”（Chain of Draft, CoD）的技术，这项技术能够在显著减少token使用量的同时保持甚至提升模型的准确率。

什么是草稿链（CoD）

灵感与机制

草稿链（CoD）的灵感来源于人类解决数学题或逻辑谜题的方式。当人们面对复杂的推理任务时，他们通常不会详细地记录每一个步骤，而是通过缩写形式记录关键信息，以便快速解决问题。基于这一观察，研究人员设计了CoD，它要求LLM在每个推理步骤中仅生成简洁、信息密集的输出，并将每个步骤限制在最多五个词内。

实验验证

为了验证CoD的有效性，研究团队在多个基准测试中进行了实验，包括算术推理（GSM8k）、常识推理（日期理解和体育知识理解）以及符号推理（抛硬币任务）。实验结果显示，在各类推理任务中，CoD不仅能够大幅减少token使用量和降低延迟，还能维持与思维链（CoT）相当甚至更高的准确率。

性能对比

算术推理

在GSM8k数据集上，采用CoD策略的模型准确率达到了91%，而所需的token数量仅为CoT的20%左右。此外，模型的平均延迟也大幅下降，例如GPT-4o的延迟降低了76.2%，Claude 3.5 Sonnet则减少了48.4%。

常识推理

对于常识推理任务，如日期理解和体育知识理解，CoD同样表现出色。在日期理解任务中，Claude 3.5 Sonnet的准确率从87.0%提高到了89.7%，同时响应时间从3.2秒缩短到1.4秒。而在体育知识理解方面，模型的输出token减少了92.4%，准确率提升了超过4个百分点。

符号推理

在符号推理任务中，使用CoD的模型同样展现出了卓越的表现。与CoT相比，GPT-4o和Claude 3.5 Sonnet的token使用量分别减少了68%和86%，且两个模型在所有测试中的准确率均达到了100%。

应用前景

成本效益

由于CoD能够显著减少token使用量和延迟，这对于需要大规模部署AI的企业来说是一个巨大的优势。据估算，一家每月处理100万次推理查询的企业，如果采用CoD技术，可以将其月度成本从3800美元降至760美元，节省超过3000美元。

实时应用

在对延迟极其敏感的应用场景中，如实时客户支持、移动AI、教育以及金融服务等，CoD的价值尤为明显。即使是短暂的延迟也可能严重影响用户体验，而CoD能够有效缓解这一问题。

结语

草稿链（CoD）代表了一种新的思考方式，它不仅简化了推理过程，还提高了效率和准确性。随着这项技术的进一步发展和完善，我们有理由相信，它将在更多领域得到广泛应用，推动AI技术向着更加高效、经济的方向发展。