机器学习（三）——线性模型

一、线性模型

 线性模型我们在高中的时候就已经接触过，还记得最小二乘法吗？这是线性模型的最经典算法之一：根据给定的（x,y）点对，求出一条与这些点拟合效果最好的一条直线$y=ax+b$，我们可以用如下公式便可计算出拟合直线的系数$a$和$b$，从而对于一个新的x，就可以预测它所对应的y值。在机器学习中，当预测值为连续值时，成为“回归问题”，预测值为离散值时称为“分类问题”。
$$a=\frac{x_1{y}_1+x_2{y}_2+......+x_n{y}_n-n\bar{x}\bar{y}}{x_1^2+x_2^2+x_3^2+......+x_n^2-n{\bar{x}}^2}$$
$$b=\bar{y}-a\bar{x}$$

1、线性回归

 线性回归问题就是试图学习一个线性模型尽可能准确地预测新样本地输出值。例如，通过历年的人口数据预测明年人口数量；波士顿房价预测问题。在这类问题中，往往我们会先得到一系列的有标记数据，有时输入地属性只有一个，也有时输入地属性有多个。
 有时这些输入的属性值并不能直接被我们的学习模型所用，需要进行相应的处理，对于连续值的属性，一般都可以被学习器所用，有时会根据具体的情形作相应的预处理，例如：归一化等。
 (1)当输入地属性只有一个时，就是最简单地情形，也就是我们高中最熟悉地最小二乘法，首先我们根据MSE计算每个样本和真实值之前地误差并求和，使用数学中的求偏导的方法计算拟合直线$y=wx+b$的两个参数$w$和$b$，推导过程如下：
$$(w^{\ast },b^{\ast })=arg\underset{w,b}{m}in\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
$$=arg\underset{w,b}{m}in\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
得到误差和，并对参数求导
$$E_{(w,b)}=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
$$\frac{\partial E_{(}w,b)}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)=0$$
$$\frac{\partial E_{(}w,b)}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i)=0$$
令式子为零可以得到$w$和$b$的最优的闭式解（从数学的角度来看，一般来说，只有目标函数是自变量的凸函数，且目标函数可微，Heissen 矩阵正定等条件下，可以判定 目标函数在一点处达到最小值（极小值点），则可认为其具有闭式解并可直接求出此闭式解。）
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$
 （2）当输入的属性有多个的时候，例如，一个样本有d个属性$(x_1,x_2,...,x_d)$，则$y=wx+b$需要写成：
$$y_i=w_1{x}_{i1}+w_2{x}_{i2}+......+w_d{x}_{id}+b$$
 通常对于多元问题，常常使用矩阵的形式来表示数据。在本问题中，将具有m个样本的数据表示成矩$X$阵，将系数$w$和$b$合并成一个列向量，这样每个样本的预测值以及所有样本的均方误差最小化可以写成下面的形式：
$$\hat{w}=(w;b)=\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\\ b\end{array}\right)$$

$$X=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& x_{1d}& \cdots & 1\\ x_{21}& x_{22}& x_{2d}& \cdots & 1\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& x_{md}& \cdots & 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)$$
$$X\ast \hat{w}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& x_{1d}& \cdots & 1\\ x_{21}& x_{22}& x_{2d}& \cdots & 1\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& x_{md}& \cdots & 1\end{array}\right)\ast \left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\\ b\end{array}\right)=\left(\begin{array}{cc}{w}_1{x}_{11}+w_2{x}_{12}+w_d{x}_{1d}+b& \\ w_1{x}_{21}+w_2{x}_{22}+w_d{x}_{2d}+b& \\ ⋮& \\ w_1{x}_{m1}+w_2{x}_{m2}+w_d{x}_{md}+b& \end{array}\right)=\left(\begin{array}{c}f(x_1)\\ f(x_2)\\ ⋮\\ f(x_m)\end{array}\right)$$
$${\hat{w}}^{\ast }=arg\underset{\hat{w}}{m}in(y-X\hat{w}{)}^T(y-X\hat{w})$$
 同样地，我们使用最小二乘法对w和b进行估计，令均方误差的求导等于0，需要注意的是，当一个矩阵的行列式不等于0时，我们才可能对其求逆，因此对于下式，我们需要考虑矩阵（$X^T\ast X$）的行列式是否为0，若不为0，则可以求出其解，若为0，则需要使用其它的方法进行计算，书中提到了引入正则化，此处不进行深入。
$$令E_{\hat{w}}=(y-X\hat{w}{)}^T(y-X\hat{w}),对\hat{w}求导得到$$
$$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2X^T(X\hat{w}-y)=0$$
$${\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$

则最终学得多元线性回归模型为
$$f({\hat{x}}_i)={\hat{x}}_i^T(X^{T}X{)}^{-1}{X}^{T}y$$
 另一方面，有时像上面这种原始的线性回归可能并不能满足需求，例如：y值并不是线性变化，而是在指数尺度上变化。这时我们可以采用线性模型来逼近y的衍生物，例如lny，这时衍生的线性模型如下所示，实际上就是相当于将指数曲线投影在一条直线上，如下图所示：
$$lny=w^{T}x+b$$

 更一般地，考虑所有y的衍生物的情形，就得到了“广义的线性模型”（generalized linear model），其中，g（*）称为联系函数（link function）。
$$y=g^{-1}(w^{T}x+b)$$

2、逻辑回归(线性几率回归)

 回归就是通过输入的属性值得到一个预测值，利用上述广义线性模型的特征，是否可以通过一个联系函数，将预测值转化为离散值从而进行分类呢？线性几率回归正是研究这样的问题。对数几率引入了一个对数几率函数（logistic function）,将预测值投影到0-1之间，从而将线性回归问题转化为二分类问题。

$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$
整理可得
$$ln\frac{y}{1-y}=w^{T}x+b$$
 若将y看做样本为正例的概率$p(y=1|x)$，（1-y）看做样本为反例的概率p(y=0|x)，则上式实际上使用线性回归模型的预测结果逼近真实标记的对数几率。
$$ln\frac{p(y=1|x)}{1-p(y=1|x)}=w^{T}x+b$$
 因此这个模型称为“对数几率回归”（logistic regression），也有一些书籍称之为“逻辑回归”。下面使用最大似然估计的方法来计算出w和b两个参数的取值，下面只列出求解的思路，不列出具体的计算过程。
我们可以得到如下0-1分布函数
$$f(x)=\{\begin{array}{ll}p(y=1|x),& \text{if y = 1}\\ 1-p(y=1|x),& \text{if y = 0}\end{array}$$
由极大似然估计可知
$$L(x;w,b)=\prod _{i=1}^m(p(y_i=1|x_i{)}^{y_i}\ast (1-p(y_i=1|x_i){)}^{1-y_i})$$

对数似然函数为
$$\ln L(x;w,b)=\sum _{i=1}^m((y_{i}lnp(y_i=1|x_i))+(1-y_i)(lnp(y_i=1|x_i)))$$
其中，正例的表达式方程为
$$p(y_i=1|x_i)=\frac{1}{1+e^{-(w^T{x}_i+b)}},令其为h(x;w,b)$$
故原来的对数似然函数化为
$$\ln L(x;w,b)=\sum _{i=1}^m((y_{i}lnh(x_i;w,b))+(1-y_i)(lnh(x;w,b)))$$
最大似然函数求解的是最大值，则我们将损失函数记为
$$costL=-\frac{1}{m}\ln L(x;w,b)$$
求解损失函数$costL$的最小值，通过梯度下降优化的方法，则可得到最优的$w$和$b$。

3、线性判别分析（LDA）

 线性判别分析（Linear Discriminant Analysis，简称LDA），其基本思想为：给定训练样本，设法将样例投影到一条直线上，使得同类的样例的投影点尽可能接近，不同类的样例尽可能地远；在对新样例进行分类时，将其投影到同样地这条直线上，再根据投影点地位置来确定新样本地类别。如图所示：

 给定数据集 D = ( x i , y i ) i = 1 m , y i ∈ { 0 , 1 } D={(x_i,y_i)}_{i=1}^m,y_i\in{\{0,1\}} D=(xi​,yi​)i=1m​,yi​∈{0,1}，令$X_i、{\mu }_i、{\Sigma }_i$分别表示第 i ∈ { 0 , 1 } i\in\{0,1\} i∈{0,1}类示例的集合，均值，协方差矩阵。若将数据投影到直线$w$上，则两类样本的中心在直线上的投影分别为$w^T{\mu }_0和w^T{\mu }_1$;若将所有样本点都投影到直线上，则两类样本的协方差分别为$w^T{\Sigma }_{0}w和w^T{\Sigma }_{1}w$。由于直线是一维空间，因此$w^T{\mu }_0、w^T{\mu }_1、w^T{\Sigma }_{0}w、w^T{\Sigma }_{1}w$均为实数。
 想让同类样本点的投影点尽可能接近，不同类样本点投影之间尽可能远，**即：让同类投影点的协方差之和尽可能小，即$w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$尽可能小，不同类之间中心的距离尽可能大，即$||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$尽可能大。**基于这样的考虑，LDA定义了两个散度矩阵。

• 类内散度矩阵，越小越好
  $$S_w={\Sigma }_0+{\Sigma }_1$$
  $$=\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$$
• 类间散度矩阵，越大越好
  $$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$
   因此，得到了LDA的最大化目标：“广义瑞利商”（Generalized Rayleigh quotient）。
  $$J=\frac{w^T{S}_{b}w}{w^T{s}_{w}w}$$
  从而分类问题转化为最优求解$w$的问题，当求解出$w$后，对新的样本进行分类时，只需要将该样本点投影到这条直线上，根据据与各个类别的中心值进行比较，从而判定出新样本与哪个类别距离最近。求解$w$的方法如下所示，使用的方法为拉格朗日乘子法，其中$\lambda$乘子。
  $$m\underset{w}{i}n-w^T{S}_{b}w$$
  $$s.t.w^T{S}_{w}w=1$$

$$S_{b}w=\lambda S_{w}w$$

$$令S_{b}w=\lambda ({\mu }_0-{\mu }_1),$$
$$w=S_w^{-1}({\mu }_0-{\mu }_1)$$

 若将$w$看做一个投影矩阵，类似PCA的思想，则LDA可将样本投影到N-1维空间（N为类簇数），投影的过程使用了类别信息（标记信息），因此LDA也常被视为一种经典的监督降维技术。