Optimization Fails because…(优化为什么会失败?)
随着参数的不断更新,但是training loss下降到某个地方不会再下降,但是对现在的loss不满意,所以优化是有问题的。或者是一开始不管怎么样更新参数,training loss不会发生什么样的改变,过去的一个猜想是gradient 接近于0.当微分是0的时候gradient descent就没办法更新参数了,但并不是卡在了local minima处,并不是只有再local minima处的gradien它等于0 ,还有其他的地方也会出现gradient等于0的情况,比如说saddle point(鞍点)。让gradient等于0的点,统称为critical point(临界点)
现在要知道的是gradient等于0 的点是local minima还是saddle point?
Tayler Series Approximation
如果是卡在local minima的话,loss现在就是没有路可以走了,但是如果卡在saddle point处的话,还是有路可以走的。
这个g和H都是用来弥补L(θ)和L({θ }')之间的距离的。H里面放的是L的第i个微分。
所以L(θ)和L({θ }')之间的关系是由gradient(一次微分)和hessian(二次微分)组成
Batch Normalization技术补充
思想:铲平大山,让不同维度的数据有相同范围
标准化方法:
实际操作时对batch处理
但是实际应用时,平均值和方差只是一个batch的,测试时使用下面的参数(训练时更新)