昇思25天学习打卡营第25天|文本解码原理-以MindNLP

自回归语言模型（Autoregressive Language Model）是一种用于生成文本的统计模型。它基于序列数据的概率分布，通过建模当前词语与前面已生成词语的条件概率来预测下一个词语，即 根据前文预测下一个单词。

自回归语言模型可以使用不同的方法来建模条件概率分布。其中，在基于Transformer架构的大语言模型出现之前，一种常见的方法是使用循环神经网络（Recurrent Neural Network，RNN），
RNN 可以通过在每个时间步骤上接收输入并保留隐状态信息，来捕捉序列中的上下文关系。通过训练RNN模型，可以学习到词语之间的概率分布，并用于生成新的文本。