不定时更新一些认为比较好的博客

1.关于梯度下降的数学原理

http://www.sohu.com/a/255510439_100118081

牛顿法默认一阶导数为0，求出最优学习率就是hessian矩阵的逆。

求解速度的快慢不等价于求解代价，从速度上来说牛顿法>梯度下降法>坐标轴下降法。但是求解代价正好相反。