学习笔记（大模型推理）

学习资源

1、明白transformer架构
https://kexue.fm/archives/4765
2、https://www.cnblogs.com/justLittleStar/p/17322259.html 这个系列
3、实操跑代码
https://mp.weixin.qq.com/s/4eXOKA1npNNHVCPUl4uYhw

学习心得

什么是LLM
LLM（大语言模型）是基于深度学习的模型，能够生成和理解自然语言文本。它们通过在大量文本数据上进行训练，学习语言的结构和上下文，从而实现对话、文本生成等多种应用。最终，这些模型旨在模拟人类的语言理解能力。

transformer架构

RNN无法很好地学习到全局的结构信息，因为它本质是一个马尔科夫决策过程。
马尔可夫决策过程（MDP）是一个数学框架，用于描述在不确定环境中进行决策的问题。它由以下几个元素组成：
状态空间（S）：系统可能的状态集合。
动作空间（A）：在每个状态下可采取的动作集合。
转移概率（P）：在某一状态下采取某个动作后转移到