吴恩达-机器学习公开课 学习笔记 Week1-3 Parameter Learning
1-3 Parameter Learning 课程内容
此文为Week1 中Parameter Learning的部分。
1-3-1 Gradient Descent
梯度下降算法定义
- 使用 := 表示赋值
- α 学习速率
- 需要同步更新θ0和θ1
1-3-2 Gradient Descent Intuition
函数只有一个参数的情形。
这个α不能太大或太小。
在梯度下降中, 当我们接近一个局部的最小值的过程里, 梯度下降算法会自动采取越来越小的步子。 这是因为当我们接近局部最优时,其定义就是导数等于0。
当我们接近局部最优,导数项会自动变小,所以梯度下降会自动采取更小的步子。这就是不需要减小α或时间的原因。
这就是梯度下降算法,你可以用它来最小化任何代价函数J,而不只是我们为线性回归定义的那个代价函数J。
1-2-4 Gradient Descent For Linear Regression
梯度下降算法的一个问题是根据初始化的不同,可能得到不同的局部最优值。
但是事实证明,用于线性回归的代价函数总是这样一个弓形的样子。这个函数的专业术语是凸函数。
测验
课程链接
https://www.coursera.org/learn/machine-learning/home/week/1