机器学习中的单变量线性回归问题

1单变量线性回归问题

函数表达为：

该类型问题中只含有一个特征/输入变量，称为单变量线性回归问题。

2代价函数

该问题的代价函数为：

我们的目标是找到可以使得模型误差的平方和最小的模型参数θ_0和θ_1。即使得代价函数J(θ_0,θ_1 )最小。
绘制一个等高线图，三坐标分别为θ_0、θ_1和J(θ_0,θ_1 )：

可以看出在三维空间中存在一个使得J(θ_0,θ_1 )最小的点。

3梯度下降法

可以利用梯度下降法来求出代价函数J(θ_0,θ_1 )的最小值。

3.1批量梯度下降算法

算法如下：

最重要的是需要同时更新θ_0和θ_1。

3.2梯度下降法的直观理解

梯度下降算法如下：

对θ赋值，使得J(θ)按梯度下降最快方向进行，一直迭代下去，最终得到局部最小值。其中α是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大。
如果α太小，即学习速率太小，会需要很多步才能到达全局最低点。
如果α太大，那么梯度下降法可能会越过最低点，可能无法收敛，甚至发散。
在梯度下降法中，当我们接近局部最低时，导数值会自动变得越来越小，梯度下降将自动采取较小的幅度。所以没有必要再另外减小α。