深度学习：输入数据归一化的理解

---

输入数据归一化的理解

今天复习了深度学习的基本流程：数据处理，网络模型设计，训练配置，训练过程（优化模型参数：权重、偏置、超参数），预测过程。其中有一段介绍梯度更新，即梯度下降法更新权重和偏置，需要用到更新步长，也就是我们所说的学习率。数据归一化，保持输入数据尺度一致，其中一个好处就是在梯度更新阶段使用统一的学习率来进行梯度更新更加合理，说实话，之前都没有考虑到这方面，所以这个分享下。

数据归一化通常意义：

1. 将不同尺度（量纲）的数据进行统一，使数据范围在同一尺度，比如【0,1】，这样的话，能加快梯度收敛过程，节约训练时间。
2. 可能提高精度。

参考

https://www.paddlepaddle.org.cn/tutorials/projectdetail/2267447