梯度下降算法在机器学习领域是非常重要的一个解决问题的方法,目的就是基于历史数据,拟合出一个理想的模型。
一、梯度下降算法阐述
1.1 梯度下降阐述
梯度下降算法是对损失函数(cost function)进行求导,最后目标是获得使损失函数的导数最小或者相对最小的参数值。
具体分析,损失函数 J(θ0,θ1),图形化表示损失函数如图:
梯度下降算法的目的就是将(θ0,θ1)对应的 J(θ0,θ1)从较高的地方,逐步改变到低谷的 J(θ0,θ1)值,也就是让 J(θ0,θ1)尽可能的小,可以理解成从山上下山,逐渐下到较低或最低的山底。
梯度下降算法如下:
(其中alpha>0, j=0,1)
举个例子&#x