3、线性回归模型

1 线性回归简介

• 回归算法是一种有监督算法
• 回归算法是一种比较常用的机器学习算法，用于构建一个模型来做特征向量到标签的映射。在算法的学习过程中，试图寻找一个模型，最大程度拟合训练数据。
• 回归算法在使用时，接收一个n维度特征向量，输出一个连续的数据值

（1）原理：包含数据（训练实例）、模型（线性回归）、性能（代价函数）、算法（梯度下降）

迭代优化过程

（2）解决问题：对大量的观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。

2 线性回归基本形式

在只有一个变量的情况下，线性回归可以用方程：$y=ax+b$ 表示。而如果有多个变量，也就是$n$元线性回归的形式如下：
$$\begin{gathered} h_{\theta }(x)={\theta }_0+{\theta }_1{x}^{(1)}+{\theta }_2{x}^{(2)}+...+{\theta }_n{x}^{(n)} \\ {h}_{\theta }(x)=\sum _{i=0}^n{\theta }_i{x}^{(i)}={\theta }^{T}x \end{gathered}$$
$n$元线性回归：在这里我们将截断$b$用${\theta }_0$代替，同时数据集$X$也需要添加一列1用于与${\theta }_0$相乘，表示$+b$。最后写成矩阵的形式就是$\theta$的转置乘以$x$。其中如果数据集有$n$个特征，则$\theta$就是$n+1$维的向量并非矩阵，其中包括截断$b$。

3 线性回归目的

​ 线性回归的目的就是求解出合适的$\theta$，在一元的情况下拟合出一条直线（多元情况下是平面或者曲面），可以近似的代表各个数据样本的标签值。所以最好的直线要距离各个样本点都很接近，而如何求出这条直线就是重点。

4 线性回归模型计算

线性回归模型矩阵表达方式

数据集：$N$个样本，$x_i$有$n$个特征，样本集为$(x_i,y_i),i=1,2,...,N$
$$y_i=y_i{x}_i=\left[\begin{array}{c}1\\ x_i^{(1)}\\ x_i^{(2)}\\ ...\\ x_i^{(n)}\end{array}\right]\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\\ {\theta }_n\end{array}\right]$$

线性回归模型：
$$h_{\theta }(x_i)={\theta }_0+{\theta }_1{x}_i^{(1)}+...+{\theta }_m{x}_i^{(n)}=x_i=\left[\begin{array}{ccccc}{\theta }_0& {\theta }_1& {\theta }_2& ...& {\theta }_n\end{array}\right]\left[\begin{array}{c}1\\ x_i^{(1)}\\ x_i^{(2)}\\ ...\\ x_i^{(n)}\end{array}\right]={\theta }^T{x}_i$$
损失函数：是用来估量模型的预测值 $f(x)$与真实值 $Y$ 的不一致程度，损失函数越小，模型的效果就越好。它的具体形式如下：
$$J(\theta )=J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2N}\sum _{i=1}^N(h_{\theta }(x_i)-y_i{)}^2$$
其中，$x_i$代表第$i$个样本，$x_i=\left[\begin{array}{c}1\\ x_i^{(1)}\\ x_i^{(2)}\\ ...\\ x_i^{(n)}\end{array}\right]$，$h_{\theta }(x_i)$代表每个样本通过我们模型的预测值，$y_i$代表每个样本标签的真实值，$N$为样本个数。

另一种写法如下：
$$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_N\end{array}\right]X=\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ...\\ x_N^T\end{array}\right]=\left[\begin{array}{ccccc}1& x_1^{(1)}& x_1^{(2)}& ...& x_1^{(n)}\\ 1& x_2^{(1)}& x_2^{(2)}& ...& x_2^{(n)}\\ ...& ...& ...& ...& ...\\ 1& x_N^{(1)}& x_N^{(2)}& ...& x_N^{(n)}\end{array}\right]\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\\ {\theta }_n\end{array}\right]$$

$$J(\theta )=\frac{1}{2N}(X\theta -Y{)}^T(X\theta -Y)$$

Python语言实现代码：

J=(1.0/(2*m))*np.sum(np.square(X.dot(theta)-y))	
J = (1.0/(2*m))*(X.dot(theta)-y).T.dot(X.dot(theta)-y)

因为模型预测值和真实值间存在误差$\epsilon$，可以写作：
$$y_i={\theta }^T{x}_i+{\epsilon }_i$$
（预测值-真实值）的平方和的平均值，换句话说就是点到直线距离和最小。

5 最小二乘法（又称最小平方法）

最小二乘法（又称最小平方法）是一种数学优化技术。它由两部分组成：

• 计算所有样本误差的平均（代价函数）
• 使用最优化方法寻找数据的最佳函数匹配（抽象的）

最小二乘法是抽象的，具体的最优化方法有很多，比如正规方程法、梯度下降法、牛顿法、拟牛顿法等等

（1）预测样本公式
$${\hat{y}}_i={\theta }^T{x}_i$$
（2）实际样本表达公式
$$y_i={\theta }^T{x}_i+{\epsilon }_i$$
假设误差${\epsilon }_i(1\le i\le m)$每个样本点相互独立的，服从均值为0，方差为${\sigma }^2$的高斯分布，原因：中心极限定理
$$P({\epsilon }_i)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{{{\epsilon }_i}^2}{2{\sigma }^2})$$
极大似然估计(Maximum Likelihood Estimation, MLE)也称最大似然估计，是一种具有理论性的参数估计方法。基本思想是：当从模型总体随机抽取$m$组样本观测值后，最合理的参数估计量应该使得从模型中抽取该$n$组样本观测值的概率最大（利用已知的样本结果，最大概率导致这样结果的参数值）。一般步骤如下：

（1）写出似然函数：所有样本误差概率相乘
$$\begin{gathered} P({\epsilon }_i)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{{{\epsilon }_i}^2}{2{\sigma }^2}) \\ 即：P(y_i|x_i;\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{{({\theta }^T{x}_i-y_i)}^2}{2{\sigma }^2}) \\ L(\theta )=\prod _{i=1}^{N}P(y_i|x_i;\theta )=\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{({\theta }^T{x}_i-y_i)}^2}{2{\sigma }^2}) \end{gathered}$$

（2）对似然函数取对数，并整理：将公式连乘变为连加
$$\begin{gathered} l(\theta )=\log L(\theta )=\log (\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{({\theta }^T{x}_i-y_i)}^2}{2{\sigma }^2})) \\ =\sum _{i=1}^N\log (\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{{({\theta }^T{x}_i-y_i)}^2}{2{\sigma }^2})) \\ =N\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}.\frac{1}{2}\sum _{i=1}^N{({\theta }^T{x}_i-y_i)}^2 \end{gathered}$$

$\sigma$为已知值，上式极大值，而被减数是定值，所以减数越小，整体公式数值越大
$$J(\theta )=\frac{1}{2N}[\sum _{i=1}^N(h_{\theta }(x_i)-y_i{)}^2)]$$
（3）求导数：针对$\theta$值进行求导操作

（4）解似然方程：求出$\theta$的最优解

6 梯度下降（Gradient descent）

6.1 梯度下降基础概念

​ 梯度下降法(Gradient Descent，GD)常用于求解无约束情况下凸函数(Convex Function)的极小值，是一种迭代类型的算法，因为凸函数只有一个极值点，故求解出来的极小值点就是函数的最小值点。

​ 梯度下降背后的思想是：开始时我们随机选择一个参数的组合$({\theta }_0,{\theta }_1)$，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。

用一幅图来表示：

$N$个样本，每个样本$m$个维度，梯度下降法的一般过程如下：

（1）初始化$\theta$（随机）

（2）对$J(\theta )$求${\theta }_j$偏导
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2N}\sum _i^N[(h_{\theta }(x_i)-y_i{)}^2]\\ & =\frac{1}{N}\sum _i^N[(h_{\theta }(x_i)-y_i)\ast \frac{\partial }{\partial {\theta }_j}(h_{\theta }(x_i)-y_i)]\\ & =\frac{1}{N}\sum _i^N[(h_{\theta }(x_i)-y_i)\ast \frac{\partial }{\partial {\theta }_j}(\sum _{k=1}^m{\theta }_k{x}_i^{(k)}-y_i)]\\ & =\frac{1}{N}\sum _i^N[(h_{\theta }(x_i)-y_i)\ast x_i^{(j)}]\end{array}$$
（3）更新$\theta$
$${\theta }_j={\theta }_j-\alpha \ast \frac{\partial J(\theta )}{\partial {\theta }_j}$$

• $\alpha$被称为步长或者学习率（learning rate），表示自变量$\theta$每次迭代变化的大小，大于0的一个很小经验值，它决定沿着能让代价函数下降的程度有多大。每一次都同时让所有的参数减去学习速率乘以代价函数的导数。

• 收敛条件：当目标函数的函数值变化非常小的时候或者达到最大迭代次数的时候，就结束循环。

• 如果 $\alpha$ 太小，梯度下降就会变慢； 如果$\alpha$太大，梯度下降法可能会越过最低点，甚至可能无法收敛，或者偏离。

6.2 梯度下降法分类

详细见深度学习算法梯度下降相关内容

（1）批量梯度下降法（Batch Gradient Descent）

• 有N个样本，求梯度的时候就用了N个样本的梯度数据

• 优点：准确 缺点：速度慢

（2）随机梯度下降法（Stochastic Gradient Descent，SGD）

• 和批量梯度下降法原理类似，区别在于求梯度时没有用所有的N个样本的数据，而是仅仅选取一个样本来求梯度

• 优点：速度快 缺点：准确度低

（3）小批量梯度下降法（Mini-batch Gradient Descent）

• 批量梯度下降法和随机梯度下降法的折衷，比如N=100

• spark中使用的此方法

7 正规方程解

$$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_N\end{array}\right]X=\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ...\\ x_N^T\end{array}\right]=\left[\begin{array}{ccccc}1& x_1^{(1)}& x_1^{(2)}& ...& x_1^{(n)}\\ 1& x_2^{(1)}& x_2^{(2)}& ...& x_2^{(n)}\\ ...& ...& ...& ...& ...\\ 1& x_N^{(1)}& x_N^{(2)}& ...& x_N^{(n)}\end{array}\right]\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\\ {\theta }_n\end{array}\right]$$

$X_{N\times m},Y_{N\times 1},{\theta }_{m\times 1}$，正规方程法求解过程如下：

1. $\theta$的求解过程
   $$\begin{array}{rl}{\theta }^{\ast }& =\arg \underset{\theta }{\min }Cost(\theta )\\ Cost(\theta )& =\frac{1}{2N}\sum _i^N(h_{\theta }(x_i)-y_i{)}^2\\ & =\frac{1}{2N}(X\theta -Y{)}^T(X\theta -Y)\\ & =\frac{1}{2N}({\theta }^T{X}^T-Y^T{)}^T(X\theta -Y)\\ & =\frac{1}{2N}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}Y+Y^{T}X\theta +Y^{T}Y)\end{array}$$

   $$\begin{gathered} \frac{\partial Cost(\theta )}{\partial \theta }=\frac{1}{2N}(2X^{T}X\theta -X^{T}Y-(Y^{T}X{)}^T) \\ =\frac{1}{2N}(X^{T}X\theta -X^{T}Y) \\ 令其等于0，得到：{\theta }^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y \end{gathered}$$

   证明等式$\sum_i^N (h_\theta(x_{i})-y_{i})^{2=(X\theta-Y)}T(X\theta-Y)\$如下：
   $$\begin{gathered} X\theta -Y={\left[\begin{array}{cccc}1& x_1^{(1)}& x_1^{(2)}& x_1^{(n)}\\ 1& x_2^{(1)}& x_2^{(2)}& x_2^{(n)}\\ ...& ...& ...& ...\\ 1& x_N^{(1)}& x_N^{(2)}& x_N^{(n)}\end{array}\right]}_{N\times n}\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\\ {\theta }_n\end{array}\right]-\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_N\end{array}\right]={\left[\begin{array}{c}{\theta }_1{x}_1^{(1)}+{\theta }_2{x}_1^{(2)}+...+{\theta }_n{x}_1^{(n)}+b\\ {\theta }_1{x}_2^{(1)}+{\theta }_2{x}_2^{(2)}+...+{\theta }_n{x}_2^{(n)}+b\\ ...\\ {\theta }_n{x}_N^{(1)}+{\theta }_n{x}_N^{(2)}+...+{\theta }_n{x}_N^{(n)}+b\end{array}\right]}_{N\times 1}-\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_N\end{array}\right] \\ (X\theta -Y{)}^T(X\theta -Y)={\left[\begin{array}{cccc}\widehat{y_1}-y_1& \widehat{y_2}-y_2& ...& \widehat{y_N}-y_N\end{array}\right]}_{1\times N}{\left[\begin{array}{c}\widehat{y_1}-y_1\\ \widehat{y_2}-y_2\\ ...\\ \widehat{y_N}-y_N\end{array}\right]}_{N\times 1} \\ =(\widehat{y_1}-y_1{)}^2+(\widehat{y_2}-y_2{)}^2+...+(\widehat{y_N}-y_N{)}^2 \end{gathered}$$
   证明等式$\frac{\partial ({\theta }^T{X}^{T}Y)}{\partial \theta }=X^{T}Y$如下：
   $$\begin{gathered} \left[\begin{array}{cc}{\theta }_1& {\theta }_2\end{array}\right]\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}A\\ B\end{array}\right] \\ =\left[\begin{array}{cc}{\theta }_{1}a+{\theta }_{2}c& {\theta }_{1}b+{\theta }_{2}d\end{array}\right]\left[\begin{array}{c}A\\ B\end{array}\right] \\ =({\theta }_{1}a+{\theta }_{2}c)A+({\theta }_{1}b+{\theta }_{2}d)B（标量） \\ 对\theta 求导\Rightarrow \left[\begin{array}{cc}aA& bB\\ cA& dB\end{array}\right]=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}A\\ B\end{array}\right] \end{gathered}$$

2. 正规方程法编程

   import numpy as np
   X = np.mat([[1,1],[2,1],[3,1],[4,1]])
   Y = np.mat([[3.2],[4.7],[7.3],[8.5]])
   (X.T*X).I*X.T*Y
   

3. 梯度下降法VS正规方程法

   梯度下降	正规方程
   需要选择学习率 $\alpha$	不需要
   需要多次迭代	一次运算得出
   当特征数量$n$大时也能较好适用	需要计算$(X^{T}X{)}^{-1}$，特征数量$n$较大时运算代价大，因为矩阵逆的计算时间复杂度$O(n^3)$，通常来说当$n$小于10000时可以接受
   适用于各种类型的模型	只适用于线性回归，不适合逻辑回归模型等其他模型

8 优缺点

• 优点

  • 模型简单，易于解释，$\theta$反应了特征的重要程度
  • 算法容易并行，适合大数据的求解

• 缺点

  • 不能拟合非线性数据，需要做特征扩展
  • 采用何种特征组合需要一定的数据敏感性
  • 特征多了：提高模型效果，但是计算成本高，需要数据量大，否则会过拟合
  • 特征少了：有欠拟合的风险