机器学习_学习笔记：单变量线性回归

目录

模型表示

代价函数

梯度下降

---

模型表示

形如 只含有一个输入变量/特征，这样的问题叫做单变量线性回归问题。

代价函数

我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距就是建模误差（modeling error）。

我们的目标便是选择出可以使得建模误差的平方和能够小的模型参数。 即使得代价函数 J 最小。

                                               

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题常用的手段了。

梯度下降（gradient descent algorithm）

可以用它来小化任何代价函数 ，不只是线性回归中的代价函数 。
确定参数θ_0，θ_1，...，θ_n

repeat until convergence{

                               for j=0 and j=1...

}

其中 α 是学习率（learning rate），它决定了我们沿着能让代价函数下降程度大的方向向下迈出的步子有多大。

如果 α 太小了，即我的学习速率太小，结果就是只能这样像小宝宝一样一点点地挪动，去努力接近低点，这样就 需要很多步才能到达低点，所以如果 太小的话，可能会很慢，因为它会一点点挪动，它会需要很多步才能到达全局低点。
如果 α 太大，那么梯度下降法可能会越过低点，甚至可能无法收敛，下一次迭代又移动了一大步，越过一次，又 越过一次，一次次越过低点，直到你发现实际上离低点越来越远，所以，如果 α 太大，它会导致无法收敛，甚至发散。

※同步更新θ_0,θ_1...：实现方法是：应该计算公式右边的部分，通过那一部分计算出θ_0和θ_1的值，然后同时更新θ_0和θ_1

总结：梯度下降算法确定能使代价函数取得最小值的参数取值(θ_0,θ_1...)，代价函数最小时的参数构成线性回归函数。