机器学习——算法进阶（二）

一、回归分析的基本概念

1.回归的概念

回归是一种用于金融、投资和其他学科的统计方法，它试图确定一个因变量****（通常用 Y 表示）与一系列其他变量**（称为自变量）之间关系的强度和特征。

2.极大似然估计和最小二乘法

$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}\text{\hspace{1em}(1)}$$

其中${\epsilon }^{(i)}$表示的误差项，是独立同分布的，且服从均值为0，方差为${\sigma }^2$的高斯分布。

原因：中心极限定理

根据${\epsilon }^{(i)}\sim N(0,{\sigma }^2)$，我们给出误差的似然函数如下：

对似然函数取对数，求满足对数似然函数最大的参数$\theta$的解。

下面给出$\theta$解析式的求解过程：
首先，将$M$个$N$维样本组成矩阵$X$：

1. $X$的每一行表示一个样本所有的信息，共有$M$行，即认为总共有$M$个样本。
2. $X$的每一列表示其中一个样本的所有特征值。
   $$X=\left(\begin{array}{cccc}{X}_{1,1}& X_{1,2}& ...& X_{1,n}\\ X_{2,1}& X_{2,2}& ...& X_{2,n}\\ ...& ...& ...& ...\\ X_{m,1}& X_{m,2}& ...& X_{m,n}\end{array}\right)\text{\hspace{1em}(2)}$$
   
   接下来，我们讨论参数的解析式。
   $$\theta =(X^{T}X{)}^{-1}{X}^{T}y\text{\hspace{1em}(3)}$$
   得出式（3）的前提必须要满足$X^{T}X$是可逆的。
   如果$(X^{T}X{)}^{-1}$不存在，则需要想办法将$X^{T}X$加点约束转换成可逆矩阵，最简单的就是在该矩阵的斜对角线添加一点点非零的量。
   $$\theta =(X^{T}X+\lambda I{)}^{-1}{X}^{T}y\text{\hspace{1em}(4)}$$
   $X^{T}X$是半正定的，添加了一项$\lambda I$之后，$X^{T}X+\lambda I$肯定是正定矩阵，$\lambda$取任意大于零的实数。
   

4.正则化稀疏问题

这个很直观，当参数$\theta$是二维的时候可以画出$J(\theta )$求解过程中的决策图，左边是LASSO约束，可以直接舍去$w^1$,只保留$w^2$对应的特征就好；右边是L2正则约束，$w^1$和$w^2$两个特征都要保留，这也就是为什么说LASSO可以达到稀疏的目的。

3.线性回归的惩罚项

我们前面已经给出了线性回归的目标函数为：
$$J(\vec{\theta })=\frac{1}{2}\sum _{i=1}^m[(h_{\vec{\theta }}(x^{(i)})-y^{(i)}{]}^2\text{\hspace{1em}(5)}$$
将目标函数添加平方和损失之后：
$$J(\vec{\theta })=\frac{1}{2}\sum _{i=1}^m[(h_{\vec{\theta }}(x^{(i)})-y^{(i)}{]}^2+\lambda \sum _{i=1}^n{\theta }_j^2\text{\hspace{1em}(6)}$$
其实，这个加平方和的约束我们是认为$\theta$是符合高斯分布的，也就是说我们在估计参数$\theta$之前，给该参数指定了一个高斯先验分布，也称为L2正则化，简称为$L2-norm$。

当然还有LASSO回归（Least Absolute Shrinkage and selection Operator），对应的是Laplace先验，即将${\theta }_j^2$改为$|{\theta }_j|$,$L1-norm$。

$$J(\vec{\theta })=\frac{1}{2}\sum _{i=1}^m[(h_{\vec{\theta }}(x^{(i)})-y^{(i)}{]}^2+\lambda \sum _{i=1}^n|{\theta }_j|\text{\hspace{1em}(7)}$$
还有个Elastic Net的概念，就是将L1正则和L2正则结合起来考虑，一般很少用。
$$J(\vec{\theta })=\frac{1}{2}\sum _{i=1}^m[(h_{\vec{\theta }}(x^{(i)})-y^{(i)}{]}^2+\lambda (\rho \sum _{i=1}^n|{\theta }_j|+(1-\rho )\sum _{i=1}^n{\theta }_j^2)\text{\hspace{1em}(8)}$$
如果不好理解正则项给定的原因，可以联想到我们的目的是为了防止过拟合，也就是说不需要太精确了，我们限制住某些特征方向上的系数，不让它太大，就比如$\theta$有两个分量为899.99-899.88或者1.99-1.88，肯定是后者要更好一点，因为波动要小一点，前者带来的波动太大也就是很可能发生过拟合现象，后者的波动较小，鲁棒性要好一些。

二、SGD梯度下降算法

第一步：随机初始化$\theta$;
第二步：沿着负梯度方向迭代，更新后的$\theta$使得$J(\theta )$更小。
$$\theta =\theta -\alpha \frac{\partial J(\theta )}{\partial \theta }\text{\hspace{1em}(9)}$$
$\alpha$表示的是学习率、步长。

计算梯度的方向

三、线性回归的进一步分析

$$y={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2\text{\hspace{1em}(10)}$$
其实这个问题很好解决，因为这个$x$表示的是数据某一维度的特征，我们可以对数据特征多加一列就好了，相当于数据有一列特征为$x_i$，我们人为地添加一项$x_i^2$到原始的数据集中去，看看最后对应的这一项${\theta }_i$的系数大不大，如果很显著就保留，不显著就舍去。