机器学习（第一周）-单变量线性回归

模型简单结构

当我们试图预测的目标变量是连续的，例如在我们的住房示例中，我们称学习问题为回归问题

 当y只能接受少量离散值（例如，如果给定居住面积，我们想要预测一个住宅是房子还是公寓），我们称之为分类问题

用一个变量进行线性回归， 单变量线性回归。

 单变量线性回归，模型假设以及参数：

代价函数(Cost Function): 计算整个训练集所有损失之和的平均值

J ( θ0​,θ1​)=2 m1​i = 1∑m​(y^​i​−yi​)2=2 m1​i = 1∑m​( hθ​( xi​)−yi​)2

 ******除以m和2m代价函数最小值相同，为了后面在梯度下降求偏导计算方便，故除以2m

单变量线性回归参数就是

梯度下降方法原理：

开始随机选取θ0和θ1

不断的改变θ0和θ1的值，不断减小代价函数J，直到趋近于最小值或者局部最小值

使用梯度下降的方式计算全局θ

repeat until convergence: {

θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ1−α1m∑i=1m((hθ(xi)−yi)xi)

学习效率

1. 如果α较小，则达到收敛所需要迭代的次数就会非常高；
2. 如果α较大，则每次迭代可能不会减小代价函数的结果，甚至会超过局部最小值导致无法收敛

如下图示例

在为梯度下降算法选择合适的学习速率 α 时
可以大致按3的倍数再按10的倍数来选取一系列α值，直到我们找到一个值它不能再小了，同时找到另一个值，它不能再大了

其中最大的那个 α 值，或者一个比最大值略小一些的α 值 就是我们期望的最终α 值

θ计算

所有这一切的关键在于，如果我们从猜测我们的假设开始

然后重复应用这些梯度下降方程，我们的假设将变得越来越准确

回归原理有个博客写的很好，建议可以去参考看看

https://www.cnblogs.com/Sinte-Beuve/p/6164689.html