m0_70738371的博客

原创 今日学习Transfomer

（如果不使用残差，一旦其中某一个导数很小，零点几这样，多次连乘之后梯度可能越来越小，这就是常说的梯度消散，对于深层网络，传到浅层几乎就没了，梯度为0）Layer Normalization的作用是把神经网络中隐藏层归一为标准正态分布，以起到加快训练速度，加速收敛的作用。2.Positional Encoding 位置编码，在词嵌入模块后增加一个层位置编码模块，生成一个与输入词向量相同尺寸的位置编码向量，并将该位置向量直接与输入的词向量进行相加获得一个具备位置信息的词向量。这篇大佬的文章进行学习！