【大模型理论基础 （So-Large-LLM） Task01 引言】

一、什么是语言模型

二、大模型相关历史

总结

今日主要了解大模型的基本概述，学习到了大模型的概念、自回归语言模型、信息熵与交叉熵、N-gram模型以及神经语言模型。
其中自回归语言模型中引入了模拟退火算法中的温度参数用于调节迭代过程中的条件概率分布。
主要的神经网络语言模型为Recurrent Neural Networks（RNNs），包括长短期记忆（LSTMs），Transformers框架。

参考资料

1.so-large-llm 第一章：大模型基础