关于最优化的问题

1.Adam原理是什么？

Adam算法结合了RMSProp（前向均方根算法）和momentum（动量法），模型的梯度是一个随机变量，梯度的一阶矩来控制模型更新的方向，二阶矩控制步长。用移动平均来对一阶矩和二阶矩进行估计。Adam算法还包含了一个偏置矫正机制，每一次迭代学习率都有个确定范围，使得参数比较平稳。

2. 总结Adam和Momentum的关联。

Momentum：若当前梯度的方向与历史梯度一致，则会增强这个方向的梯度，若当前梯度与历史梯方向不一致，则梯度会衰减，相当于在SGD的基础上添加梯度的一阶矩。Adam：相当于在SGD的基础上添加梯度的一阶矩和二阶矩，其中，一阶矩来控制模型更新的方向，二阶矩控制步长。

3.Batch Normalization的原理、作用是什么？

批归一化是对于一个批次的每个隐层神经元，把其输入分布强制拉回到均值为0方差为1的标准的正态分布，使得激活函数输入值落入梯度值最大的范围，以此避免梯度消失问题。因为梯度能保持比较大的状态，所以对神经网络的参数调整效率提高，收敛加快。

4.Batch Normalization训练和测试时的参数是一样的吗？

在训练时，是用每一批数据的均值和方差对每一批的训练数据进行归一化。而在测试时，比如进行一个样本的预测，就并没有批的概念，这个时候用的均值和方差是全量训练数据的均值和方差。

5.Batch Normalization与Layer Normalization区别？bert中为什么用后者？

批归一化是纵向归一化，各个维归一化，所以与batch size有关系。层归一化是横向归一化，对一个样本，不同的神经元做归一化。

在NLP中，批归一化对每句话的第一个词进行操作，不符合NLP的规律。而层归一化则是针对一句话进行缩放的，符合NLP的规律。

批归一化是以批为单位计算归一化统计量的，当一个批样本数很少时，少量样本的均值和方差无法反映全局的统计分布，所以基于少量样本的批归一化的效果会变得很差。受硬件的限制，Bert一般训练的批次都不大，所以在Transformer中使用的是层归一化。