Feature Scaling 的意义

之前一直不知道feature scaling加速收敛的原因在哪？最近看李宏毅老师的视频，在大概明白了一些，以下就是介绍feature scaling的意义：

可以看到，当X1和X2的尺度不同，那么他们对最终损失造成的影响也是不相同的，如左图所示，你可以想象成一个三维的地形，或者一个崎岖的山路，而右图由于输入尺度相同，当然也是个三维的地形，但层次分明。当你想到达最低点时，左图需要根据梯度下降指引下降的方向，可能到达不同点，他所指引的方向并不指向最低点；而相反，右图中，他的梯度下降由于周围地形很相近，所以一直可以指向最低点，这也就是feature scaling加速收敛的原因所在！