oNanYuan的博客

（转自 http://www.cnblogs.com/ooon/p/4947688.html） 深入梯度下降(Gradient Descent)算法 一直以来都以为自己对一些算法已经理解了，直到最近才发现，梯度下降都理解的不好。 1 问题的引出 对于上篇中讲到的线性回归，先化一个为一个特征θ1，θ0为偏置项，最后列出的误差函数如下图所示： 手动求解 目标是优化J(θ1

（转自http://blog.csdn.net/njucp/article/details/50488869） “牛顿下降法和梯度下降法在机器学习和自适应滤波中的都很重要，本质上是为了寻找极值点的位置。但是收敛的速度不同。 本文中就两种方法来探究一下，哪种收敛方法速度快“ 牛顿下降法的递推公式： xn+1=xn−f′(xn)/f′′(xn) 梯度下降算法的递推公式：