通过 Batch Normalization 的方式 normalize 神经网络层的输入,以解决的 internal covariate shift 问题。
B={x1,…,m} 表示一个 mini-batch,其 normalized 之后(去均值,方差为1)的值为:xˆ1,…,m,再经过线性变换得 y1,…,m:
则 Batch Normalization 为:
注:
- γ,β 如同权值矩阵 w 和偏值向量 b 一样都是待学习的参数;
通过 Batch Normalization 的方式 normalize 神经网络层的输入,以解决的 internal covariate shift 问题。
B={x1,…,m} 表示一个 mini-batch,其 normalized 之后(去均值,方差为1)的值为:xˆ1,…,m,再经过线性变换得 y1,…,m:
则 Batch Normalization 为:
注:
转载于:https://www.cnblogs.com/mtcnn/p/9421697.html