机器学习：线性回归（Linear Regression）

---

机器学习 深度学习 NLP 搜索推荐 等 索引目录

---

通过学习邹博《机器学习》的课程，学完之后感觉记忆支离破碎，现在再复习一下，加强记忆。

---

在统计学中，线性回归是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。

举个栗子：
我们要预测房价。当前自变量(输入特征)是房子面积$x$，因变量是房价$y$。给定了一批训练集数据。
我们要做的是利用手上的训练集数据，得出$x$与$y$之间的函数$f$关系，并用f函数来预测任意面积$x$对应的房价。

假设$x$与$y$是线性关系，则我们可以接着假设一元线性回归函数如下来代表$y$的预测值：
$$h_{\Theta }={\theta }_0+{\theta }_{1}x$$
带入$x$,使得$h(x)$的值与实际值$y$越接近越好，通常用两者之间的均方差的大小来决定当前未知参数${\theta }_0,{\theta }_1$是否是最优值。即我们要估计这个回归函数，本质上就是来估计${\theta }_0,{\theta }_1$的值。

多变量的情形：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{\mathbf{T}}\mathbf{x}$$

常用的成本函数（cost function）是最小二乘法：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

其中：
$x^{(i)}$表示向量$x$中的第$i$个元素；
$y^{(i)}$表示向量$y$中的第$i$个元素；
$h_{\theta }(x^{(i)})$ 表示回归函数；
$m$为训练集的数量；

为什么使用最小二乘法呢？
下面我们使用极大似然估计解释最小二乘（推导过程）：

$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$$

这里残差${\epsilon }^{(i)}(1\le i\le m)$是独立同分布的，服从均值为0，方差为某定值${\sigma }^2$的高斯分布。（原因：中心极限定理）

由残差${\epsilon }^{(i)}(1\le i\le m)$服从均值为$0$，方差为某定值${\sigma }^2$的高斯分布，则

$$p({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})$$

其中残差等于真实值减去预测值，代换有：
$$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

则似然函数即为所有样本出现的概率乘积，也就是同时看到$y^1，y^2，y^3,...,y^m$的概率

$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )\\ & =\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})\end{array}$$

对数似然函数为：
$$\begin{array}{rl}l(\theta )& =logL(\theta )\\ & =log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})\\ & =\sum _{i=1}^{m}log\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})\\ & =mlog\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2\end{array}$$

去掉上式的常数项，就得到了我们想要的公式：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

接下来看一下$\theta$的解析式的求解过程
目标函数:

$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2=\frac{1}{2}(\mathbf{X}\theta -\mathbf{y}{)}^T(\mathbf{X}\theta -\mathbf{y})$$
对目标函数求梯度：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\nabla }_{\theta }⟮\frac{1}{2}(\mathbf{X}\theta -\mathbf{y}{)}^T(\mathbf{X}\theta -\mathbf{y})⟯\\ & ={\nabla }_{\theta }⟮\frac{1}{2}({\theta }^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}-{\mathbf{y}}^{\mathbf{T}})(\mathbf{X}\theta -\mathbf{y})⟯\\ & ={\nabla }_{\theta }⟮\frac{1}{2}({\theta }^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\theta -{\theta }^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{y}}^{\mathbf{T}}\mathbf{X}\theta +{\mathbf{y}}^{\mathbf{T}}\mathbf{y})⟯\\ & =\frac{1}{2}(2{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\theta -{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-({\mathbf{y}}^{\mathbf{T}}\mathbf{X}{)}^{\mathbf{T}})\\ & ={\mathbf{X}}^{\mathbf{T}}\mathbf{X}\theta -{\mathbf{X}}^{\mathbf{T}}\mathbf{y}\end{array}$$

最后得到参数的解析式
$$\theta =({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$

若${\mathbf{X}}^{\mathbf{T}}\mathbf{X}$不可逆或者防止过拟合，增加$\lambda$扰动

$$\theta =({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$

其中I是单位阵，出现过拟合的原因是求得的参数θ比较大，函数出现振荡，所以要解决过拟合就得使θ变小

---

来个简便的记忆方法来记住这个结论：
$$\begin{gathered} \mathbf{X}\theta =\mathbf{y}\Rightarrow {\mathbf{X}}^{\mathbf{T}}\mathbf{X}\theta ={\mathbf{X}}^{\mathbf{T}}\mathbf{y} \\ \Rightarrow \theta =({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y} \end{gathered}$$

---

将目标函数增加平方和损失：

$$J(\vec{\theta })=\frac{1}{2}\sum _{i=1}^m(h_{\vec{\theta }}(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2$$

后面的惩罚项防止过拟合。

梯度下降算法

梯度方向
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2}(h_{\theta }(x)-y{)}^2\\ & =2\cdot \frac{1}{2}(h_{\theta }(x)-y)\cdot \frac{\partial }{\partial {\theta }_j}(h_{\theta }(x)-y)\\ & =(h_{\theta }(x)-y)\cdot \frac{\partial }{\partial {\theta }_j}(\sum _{i=0}^n{\theta }_i{x}_i-y)\\ & =(h_{\theta }(x)-y)x_j\end{array}$$

批量梯度下降算法（BGD）（这种方式,是将所有的样本M都参与进去训练，这种方式当样本量比较大的话,计算量就会变得很大,所以这种方式适用的范围,仅是对那些样本较小的数据而言）

R e p e a t   u n t i l   c o n v e r g e n c e   { Repeat\ until\ convergence\ \{ Repeat until convergence {
$\theta :={\theta }_j+\alpha {\sum }_{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}))x_j^{(i)}$
$\}$

随机梯度下降算法（SGD）（大体思路: 在给定的样本集合M中,随机取出副本N代替原始样本M来作为全集,对模型进行训练.这种训练由于是抽取部分数据,所以有较大的几率得到的是,一个局部最优解.但是一个明显的好处是,如果在样本抽取合适范围内,既会求出结果,而且速度还快.）
L o o p   { Loop \ \{ Loop {
f o r   i = 1   t o   m , { \qquad for\ i=1\ to\ m, \{ for i=1 to m,{
${\theta }_j:={\theta }_j+\alpha (y^{(i)}-h_{\theta }(x^{(i)}))x_j^{(i)}$
$\}$
$\}$
与批量梯度下降对比，随机梯度下降求解的会是最优解吗？
（1）批量梯度下降—最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小。

（2）随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。

折中：mini-batch
这是介于以上两种方法的折中，每次随机选取大小为$b$的mini-batch,$b<m$, $b$通常取10，或者其他,这样既节省了计算整个批量的时间，同时用mini-batch计算的方向也会更加准确。