线性回归的原理

1.了解线性回归

先了解一些概念：监督学习、无监督学习、半监督学习、分类、回归、特征、标签
（1）特征：样本的输入，描述样本的一些属性，例如：西瓜的颜色、根蒂、声响等等
（2）标签：样本的输出，例如：在分类中，标签可以是西瓜的分类，例如好瓜、坏瓜（离散值）；在回归任务中，标签可以是西瓜的含糖量（连续值）
（3）监督学习：训练数据包括样本的特征和标签，监督学习分为两种：分类和回归。
分类任务中预测的是离散值（再举一个例子：是否患病），回归任务预测的是连续值（房屋价格）。
（4）无监督学习：训练数据中只包含样本的一些特征，不包含标签，典型的无监督学习的例子是聚类。
（5）半监督学习：训练数据中有一部分样本是有标签的，而其余的是没有标签的，实际情况下没有标签的样本远多于有标签的样本。

那么究竟什么是线性回归？
西瓜书给出的解释：

通俗的理解：
现在我们手上有一堆数据（用于训练模型的数据，也称训练集），这些数据有自己的特征x和相应的输出标记y，而我们的目的是找出y跟x之间的一种线性关系，建立一个线性模型，我们的目的是使得训练集与模型尽量的拟合，这样新来了一些数据，在我们不知道输出标记的情况下，就可以通过我们之前得出的模型去求出预测值，我们的最终目的是让这个预测值尽可能的接近真实值（模型的泛化能力要强，泛化误差要小）。所有其他的机器算法大概也是这个套路，不过得出的模型不是线性模型罢了。
2.深入线性回归
（1）用数学表达线性回归

这里的x表示样本的特征，θ1、θ2表示样本特征的权重，θ0表示一个偏移量，其中我们要求的是参数θ，求出了θ，将新来的样本x代入可以得到一个预测值

（2）误差
模型在训练集上表现出来的误差叫训练误差，在测试集上的误差叫测试误差，通常把测试误差当做泛化误差的近似。训练误差小，泛化误差不一定小，典型的例子是过拟合。

那么既然我们得到了这样的一个模型，很显然实际情况下我们的训练数据是很难完全拟合这个模型的，换句话说，我们通过这个模型得到的预测值跟真实值之间存在一定的偏差，我们把它叫做误差，而我们就是想让这个误差最小化，即让我们通过模型的出来的预测值尽可能与真实值去靠拢，这样得到的模型就是很准确的，能够达到预测的效果。
误差的表示：

而误差服从均值为0，方差为σ²的高斯分布，可以写出高斯分布的概率函数：

（2）似然函数及求解（目标函数的由来）
最大似然函数法是一种参数估计方法，寻找参数使得似然函数取最大值，似然函数表示为：

似然函数里面有一个累乘操作，很难计算，于是引入对数似然函数，将累乘转换成累加。

要使得似然函数取最大值，只有减号后面的值取最小值，于是得到线性回归的目标函数（损失函数），目标是让损失函数取最小值。
（3）最小二乘法求解目标函数
最小二乘法：将误差方程转化为有确定解的代数方程组，从而求出这些位置参数。有确定解的代数方程组成为最小二乘法估计的正规方程。
求解过程：

局限性：θ不一定能求解（线性回归是一个特例）
（4）梯度下降法求解（优化思想）
梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。
梯度下降法的流程：先设置一个出发点，在这个点按一定的步长（由学习率决定）按这个点的梯度不断进行更新，直到达到一个局部最优点
①得到目标函数（优化对象）
②计算梯度
③更新变量
④判断是否达到终止：如果前后两次的函数值差的绝对值小于阈值（变化很小，小于设置的阈值，说明到达局部最优点），则跳出循环；否则继续
假设函数的形式为：

梯度下降的损失函数：

我们的目标是选择合适的（θ0，θ1），使得损失函数的值最小。
详细的梯度下降法以后再讲。