机器学习算法准备提升——线性模型（1）【最小二乘和与Lasso、Riedg有关的线性模型】

线性模型的一般的数学表示方法如下：

$$\hat{y}(\omega ,x)={\omega }_0+{\omega }_1{x}_1+...+{\omega }_p{x}_p$$

其中，$\hat{y}$是预测的值，这个模型中，我们把向量$\omega =({\omega }_1,...,{\omega }_p)$作为系数，把${\omega }_0$作为偏移量。

1、最小二乘法（Ordinary Least Squares）

线性回归模型去学习这样的一个模型，对应的系数是$\omega =({\omega }_1,...,{\omega }_p)$，通过最小化数据集中的标签（label）和线性模型预测出来的值之间的残差和来学习线性模型中的系数。对应的数学公式为：

$$mi{n}_{\omega }||X\omega -y|{|}_2^2$$

最小二乘法的系数估计依赖于特征的独立。当特征有关联，且涉及的矩阵$X$的列近似线性相关，则这个矩阵就会趋于奇异。最小二乘估计对观测目标（label）的随机错误就会变得非常敏感，产生较大的方差。

2、岭回归和分类（Ridge regression and classification）

（1）回归

岭回归通过对系数大小的惩罚来解决普通最小二乘法的一些问题。对应的数学公式如下：

$$mi{n}_{\omega }||X\omega -y|{|}_2^2+\alpha ||\omega |{|}_2^2$$

这里的复杂性参数$\alpha \ge 0$控制收缩量：$\alpha$的值越大，收缩量越大，系数对共线性的鲁棒性越强。

（2）分类

这个分类器首先将二分类转换为{-1， 1}，然后就变为一个回归任务，优化目标不变：

$$mi{n}_{\omega }||X\omega -y|{|}_2^2+\alpha ||\omega |{|}_2^2$$

预测的类对应的是这个回归器预测值的符号。

对于多个类别的分类，问题就变为多输出的回归，预测的类就对应输出的最高值。

有个疑问的就是为什么用最小二乘法损失来拟合函数而不用传统的logistic or highe losses。然而在实践中，所有这些模型在准确性或精度/召回方面都可能导致类似的交叉验证分数，而RidgeClassifier使用的惩罚最小二乘损失允许对具有不同计算性能特征的数值求解器进行非常不同的选择。

在大量的类时，岭分类要比像逻辑回归快很多。

3、Lasso

用途：Lasso模型是用在估计稀疏系数的线性模型。在某些情况下是非常有用的，因为它倾向于选择较少的非零系数解，有效地减少给定解所依赖的特征的数量。

对应的目标函数为：

$$mi{n}_{\omega }=\frac{1}{2n_{samples}}||X\omega -y|{|}_2^2+\alpha ||\omega |{|}_1$$

上面的公式中后一项是罚项，$\alpha$是一个常数，$$||\omega |{|}_1$$是系数向量的$l_1$范数。

Note：Lasso的特征选择

由于Lasso回归模型得到的是稀疏矩阵，因此可以用来进行特征选择。

（1）正则化系数的设置

参数$\alpha$控制着评估的稀疏系数。下面有几个方法得到参数$\alpha$

• 用交叉验证
• 基于信息标准的模型选择

4、多任务的Lasso

这一类问题对应的label的shape像这样的，（n_samples, n_tasks）

对应的数学公式:

$$mi{n}_{\omega }\frac{1}{2n_{samples}}||XW-Y|{|}_{Fro}^2+\alpha ||W|{|}_{21}$$

它是由一个训练了的线性模型混合上一个$l_1{l}_2$范数的罚项组成。

这里的Fro是Frobenius 范数：

$$||A|{|}_{Fro}=\sqrt{\sum _{ij}{\alpha }_{ij}^2}$$

$l1l2$范数：

$$||A|{|}_{21}=\sum _i\sqrt{\sum _j{\alpha }_{ij}^2}$$

5、Elastic-Net

Elastic-Net 也是一个线性回归，训练时用到了对系数的$l1和l2$的罚项。这结合了Lasso模型的特点也结合了Ridge模型的特点。

当存在多个特征关联另一个的时候，Elastic-Net模型就很有用。Lasso可能是从中随机选择一个，二Elastic-Net是同时选择这两个。

目标函数是最小化下面的公式：

$$mi{n}_{\omega }\frac{1}{2n_{nsamples}}||X\omega -y|{|}_2^2+\alpha \rho ||\omega |{|}_1+\frac{\alpha (1-\rho )}{2}||\omega |{|}_2^2$$

6、多任务Elastic—Net

目标函数是：

$$mi{n}_{\omega }\frac{1}{2n_{nsamples}}||X\omega -y|{|}_{Fro}^2+\alpha \rho ||\omega |{|}_{21}+\frac{\alpha (1-\rho )}{2}||\omega |{|}_{Fro}^2$$

7、Least Angle Regression

用途：Least-Angle Regression （LARS）是一个高维数据的回归算法。LARS有点类似前向逐步回归。在每一步，寻找与target最有关联的特征，当有多个特征有相同的相关性时，它不是沿着同一特征继续前进，而是沿着特征之间的等角方向前进。

8、LARS Lasso

这是用LARS算法实现的lasso模型。