3 大模型推理速度

本文的介绍只涉及大模型推理部分，至于微调还是预训练等等不做深入研究。

0 背景介绍

首先我们要知道什么是大模型推理。其实，就是大模型如何输出，怎么输出，输出什么的过程。目前大模型的架构一般decoder-only架构的大模型通常采用自回归的方式生成输出语句，自回归的方式是逐token的进行输出。在每一次生成步中，大模型将过去的全部token序列作为输入，包括输入token以及刚刚生成的token，并生成下一个token。随着序列长度的增加，生过文本这一过程的时间成本也显著增加。大语言模型的『推理』本质上就是根据上下文(context)的向量空间找概率最高的下一个token的向量，每一个token无论输入输出都代表一个向量，token数量越多，向量包含的信息越丰富，当输入的token数量很多，或者token的组合特殊（所谓Prompt Engineering），就大概率触发模型觉得下一个token不应该是输出结束，这样就会输出更多内容。