llama模型研究系列1

一、llama模型的结构是怎么样的？

采用了transfomer中的decoder，其中7b版本的结构如下：

13B结构如下：

GPU显存使用情况：

二、llama模型中的词典为什么会有大量的token有ord(‘▁’)=9601 的字符呢？