归一化的两种方法:
- 线性函数归一化(Min-Max Scaling) 将结果映射到 [0, 1] 范围内。
- 零均值归一化(Z-Score Normalization)
将数据映射到均值为 0 、标准差为 1 的分布上。假设原始特征均值为 μ,标准差为σ,则有
为什么进行归一化:
在学习速率相同的情况下,(a)图中 x1 的更新速度要大于 x2(x1 的取值范围大于 x2);(b)图中x1 x2更新速度一致(x1、x2取值范围一致)
总结:缩小至统一量纲,可以加快更新速度。
将数据映射到均值为 0 、标准差为 1 的分布上。假设原始特征均值为 μ,标准差为σ,则有
在学习速率相同的情况下,(a)图中 x1 的更新速度要大于 x2(x1 的取值范围大于 x2);(b)图中x1 x2更新速度一致(x1、x2取值范围一致)
总结:缩小至统一量纲,可以加快更新速度。