线性回归学习笔记

线性回归基本概念

当预测值（即因变量）为连续型变量时，我们称之为回归。只涉及一个自变量时，称为一元回归，涉及多个自变量时，则称为多元回归。如果因变量变量与自变量之间是线性关系，则称为线性回归，如果因变量与自变量之间是非线性关系则称为非线性回归。

线性回归预测模型

首先，假设我们要预测的因变量y与自变量x之间存在线性关系。且每个x对y的影响程度不同，即x以一定权重影响y的变化。所以，可以将x与y的关系写成：$y={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$。其中，${\theta }_0$是偏置项。让${\theta }_0$乘以一列1，进而可以将上式写成，记为式（1）：
$$y={\theta }^{T}x\text{\hspace{1em}(1)}$$

上式便可以理解为我们的预测模型。即在确定参数$\theta$后，给定一组x值，可以计算出预测值y。

关于偏置项的理解。在一元线性回归时，偏置项是直角坐标系中，回归直线在y轴上的截距。

我们可以想像，如果我们能够找出所有对y产生影响的因素，那么上式既为x与y的线性模型。但现实世界，我们不可能找到所有的x，这就导致真实值与模型之前存在一定的误差。所以，我们要增加一个误差项或扰动项。记为式（2）：
$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}\text{\hspace{1em}(2)}$$

上式中的y可以理解为真实值，或样本值（即训练数据中的y值）。

扰动项$\epsilon$满足以下条件：

• 正态性。$\epsilon$是一个服从正态分布的随机变量，且期望值为0，即$\epsilon \sim N(0,{\sigma }^2)$。
• 方差齐性。对于所有的x值，$\epsilon$的方差也都等于${\sigma }^2$都相同。
• 独立性。独立性着对于一个特定的x值，它所对应的$\epsilon$与其他x值所对应的$\epsilon$不相关；对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关。

• 关于正态性。想像一元线性回归，回归方程是一条直线，我们希望这条直线能够穿过所有真实点，越中间越好。即直线与上下的点的差值之和越小越好，即均值趋近于0。
• 关于方差。我们后面的推导暂时用不到方差。
• 关于独立性。我们视每个样本或每条数据为一次随机试验，第一次试验产生的误差不会影响第二次试验。独立性无法用数学去检验。我们应从业务上，尽量保证一个x的变化不受其它x的影响。

关于扰动项，我们可能会想，它为什么会满足这些条件。这里是因为，我们希望找到一个模型，能够最大程度描述所有的数据。这就要求对于所有真实点，误差和越小越好。从图上看就是模型这条线，越在散点的中间越好。所以，扰动项满足这些条件，是我们对找出这样一个模型的目标假定的前提条件。只有满足这样的条件，得到的模型才是我们最初的目标。

线性回归目标函数及求解

至此，我们已经得到线性回归模型。那么，我们来梳理一下已知、未知条件。在预测模型式（1）中，我们唯一需要确定的就是参数$\theta$，即我们求解的目标是参数$\theta$。我们可以利用式（2）中$\epsilon$的特性来求解。
这其实是一个参数估计问题。在式（2）中，x、y是真实值，可以用我们训练数据往里套。$\theta$是求解的目标。而$\epsilon$我们已知它的分布。显然，这是一个“模型已定，参数未知”情况。

统计学的套路一般都是先要有统计量，已知该统计量服从某种分布，然后再利用其特性，用统计学方法解决问题。这里其实是利用扰动项服从正态分布这个条件，来引入极大似然估计。

根据正态分布密度函数得：
$$p({\epsilon }^{(i)})=\sqrt{2\pi }$$