本文分析了ChatGLM2与前作ChatGLM在模型架构上的区别，主要变化包括SelfAttention后的激活函数从GELU改为Swish-1，以及Norm层类型从LayerNorm变为了RMSNorm。
ChatGLM2与ChatGLM3模型架构是完全一致的，ChatGLM与后继者结构不同。可见ChatGLM3相对于ChatGLM2没有模型架构上的改进。
相对于ChatGLM，ChatGLM2模型上的变化：
1. SelfAttention之后的前馈网络有不同。ChatGLM用GELU（Gaussian Error Linear Unit）做激活；ChatGLM用Swish-1做激活。
2. 采用的Norm层是不知样的 ChatGLM: LayerNorm ChatGLM2: RMSNorm
上图：
一、ChatGLM
二、 ChatGLM2
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
