OpenAI的GPT系列大语言模型中的前馈神经网络模块共包含两个Linear层以及一个GELU（Gaussian Error Linear Unit）激活函数。第一个Linear层会对每个token对应的维度为 n n n的输入向量做变换，将向量的维度拓展至 4 n 4n 4n。GELU激活函数对第一个Linear层输出向量中的每个元素做变换，并将经过变换后的向量输入第二个Linear层。第二个Linear层会将各个t
OpenAI的GPT系列大语言模型中的前馈神经网络模块共包含两个Linear层以及一个GELU（Gaussian Error Linear Unit）激活函数。第一个Linear层会对每个token对应的维度为$n$的输入向量做变换，将向量的维度拓展至$4n$。GELU激活函数对第一个Linear层输出向量中的每个元素做变换，并将经过变换后的向量输入第二个Linear层。第二个Linear层会将各个token对应向量的维度压缩回原来的$n$维，得到前馈神经网络模块的输出。
订阅专栏 解锁全文
1271
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
