人工智能教程 - 学科基础课程2.6 - 机器学习导论 3.梯度下降,线性回归中的梯度下降算法

梯度下降(Gradient descent)

• 是一种求函数最小值的算法，梯度下降算法可以使代价函数J最小化。
• 不仅适用于线性回归问题，同时也适用于一些其他情况。

Have some function $J({\theta }_0,{\theta }_1)$
Want $mi{n}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$

算法步骤
1）. 开始随机选择一个参数组合计算，可以设置为0
start with some ${\theta }_0,{\theta }_1$ (say ${\theta }_0=0,{\theta }_1=0$ )

2）.然后不停地一点点地改变参数组合，试图通过这种改变使得代价函数变小，一直持续到找到J的最小值或者局部最小值。
keep changing ${\theta }_0,{\theta }_1$ to reduce $J({\theta }_0,{\theta }_1)$
until we hopefully end up at a minimum

Ex: 第一次