Chain of Thought Empowers Transformers to Solve Inherently Serial Problems

本文是LLM系列文章，针对《Chain of Thought Empowers Transformers to Solve Inherently
Serial Problems》的翻译。

摘要

指示模型生成一系列中间步骤，即思维链（CoT），是提高大型语言模型（LLM）在算术和符号推理任务中的准确性的一种非常有效的方法。然而，CoT背后的机制尚不清楚。这项工作通过表现力的视角，为CoT对仅解码器Transformer的强大功能提供了理论上的理解。从概念上讲，CoT使模型能够执行固有的串行计算，这是Transformer所缺乏的，尤其是在深度较低的情况下。在给定输入长度n的情况下，之前的研究表明，具有有限精度poly（n）嵌入大小的恒定深度Transformer只能解决没有CoT的 T C 0 TC^{0}