2401_82989590的博客

原创 nlp算法学习

通过对每个小批次的数据进行均值和方差的归一化处理，使得网络中的每一层都有类似的数据分布。所以提出了残差，某隐藏层a输出为H(x)，其接着的下一个隐藏层b的输入并不是a的输出H(x)，而是H(x)-x （学到的东西和真实的东西的残差）。H*W*C的隐藏层（C是维度）就变成了1*1*C，再经过激活函数就得到了每层的权重，最后将权重与原本隐藏层点乘，得到加权后的隐藏层。在训练过程中，每次将一个批次（batch）的数据输入到模型中进行前向传播和反向传播，然后根据计算得到的梯度更新模型的参数，这个过程称为一次迭代。