二、单变量线性回归

1.模型描述：

线性回归是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，即由一个或几个变量来预测另一个变量。其表达形式为? = ?′?+?，?为误差服从均值为0的正态分布。

回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

之所以是监督学习，是因为每一个例子都有一个“正确的答案”
回归问题：回归是指我们预测一个具体的数值输出
分类问题：预测离散值输出
数据集函数的作用：预测y是关于x的线性函数

2.代价函数

有助于弄清楚如何把最有可能的直线与数据拟合
假设函数：$h(x)={\theta }_0＋{\theta }_{1}x$

如何选择模型参数${\theta }_0和{\theta }_1$？
使h(x)最接近样本，要尽量减少假设函数的输出与试剂样本值的差的平方和的2m分之一，即M=∑(h(x)-y)^2，对1/2m *M求最小值。

代价函数也被称为平方误差函数,平方误差函数尤其是对回归问题是一个很好的选择

1.为什么减少代价函数

如图
Hypothesis(假设)

我们要使h(x)最接近样本，就要选择合适的θ，h(x)越接近样本，Cost Function就越小，所以我们的目标是尽可能减小代价函数来选择一个合适的θ。那么如何减少代价函数？让它的偏导数为0，他就在极值点上

为了使代价函数更可视化，我们来简化假设函数，如图：

注意假设函数是关于x的函数，代价函数是关于θ的函数。θ代表h(x)的斜率
对每一个θ，先计算h(x)，再计算J(θ)，一一对应关系

如上图,左边是假设函数的图像，右边是代价函数的图像。当取得一个合适的θ时，$h_{\theta }(x)$几乎完全拟合训练样本，代价函数为0。拟合度越差，代价函数越大

跟上个比，我们现在保留所有参数
此时代价函数图像为3D图像：

同样最接近最小值的点意味着更好的代价函数。

对于有两个参数（parameter）的代价函数是一个碗状的形状，更多维的也可以想象成碗状的形式，只是没法在三维空间表现，这类代价函数称为“凸函数”（convex function）

3.梯度下降

利用梯度下降来求代价函数最小值，方法是不停改变θ1和θ2来使J(θ)变小。
梯度下降有点类似于贪心算法，不断选下降趋势最明显的点，最后得到一个最低点或是局部最低点，
选择不同的起点有可能得到不同的局部最优解。

1.定义

梯度下降算法的定义，如图：(:=表示赋值，α被称为学习率，来控制梯度下降时我们迈多大的步子，α越大，梯度下降越迅速。convergence：收敛)

横线下面是正确实现梯度下降的方法，必须同步更新θ0和θ1，不能先变一个，再变另一个。

原理：如上图所示，α是正数，紫框标记的是斜率，当曲线上升的时候，斜率为正，θ1减小，反之斜率为负，θ1增大，都会接近最低点。当到达最低点的时候，斜率为0，θ1不变。

2.选择合适的α

当α太大时，可能总是跳过最低点，当α太小时，速度又太慢。

随着梯度下降法的运行，导数会越来越小，θ的移动也会越来越小，所以我们不需要改变α也可以达到目的。

4.线性回归的梯度下降

如上图，左边是梯度下降算法，右边是线性回归模型。
对于公式：

∂ ∂ θ j J ( θ 0 , θ 1 ) = ∂ ∂ θ j 1 2 m ∑ i = 1 m ( θ 0 + θ 1 x i − y i ) 2 \frac {\partial}{\partial\theta_j} J(\theta_0,\theta_1) = \frac {\partial}{\partial\theta_j} \frac {1}{2m}\sum_{i=1}^m (\theta_0+\theta_1x^i-y^i)^2 ∂θ