LASSO回归之特征选择

MLE --framework – MAP

$MLE:argmaxP(D|\theta )$
$MAP:argmaxP(\theta |D)$ = $argmaxP(D|\theta )P(\theta )$
MAP 是在MLE的条件下考察$\theta$的先验分布
from Guassian Prior to L2 Regularization
from Laplace Prior to L1 Regularization

LASSO回归VS特征选择

·如果维度太高，计算量也变得很高
·在稀疏性条件下，计算量只依赖于非0项的个数
·提高可解释性
在$N<D$其中$N$代表样本个数$D$代表特征维度
特征选择的方法：
option1: Exhaustive Serah: all subsets
option2: Greedy Approaches:
·Forward Stepwise
·Backward Stepwise
option3: via Regularization

LASSO介绍

以线性回归的目标函数举例: $$L=\Vert X\omega -Y{\Vert }_F^2+\lambda \Vert \omega {\Vert }_1$$
$\Vert \omega {\Vert }_1$对$\omega$的梯度是多少：
$$\frac{\partial {\Vert \omega \Vert }_1}{{\omega }_j}=\frac{\partial |{\omega }_j|}{{\omega }_j}$$
根据${\omega }_j$的取值分别有三种可能性。

Coordinate Descent

Goal: minimize some function g
$g(\omega )=g({\omega }_1,{\omega }_2,...,{\omega }_n)$
每次只在一个维度上求解最小值，把其他维度看做常量求解，怎样选择下一个coordinate:1.依次选择 2.随机选择
不需要设定step-size,对于lasso objective,会收敛

coordinate descent for lasso

$L={\sum }_{i=1}^n({\sum }_{j=1}^d{\omega }_j{x}_{ij}+b-y_i{)}^2+\lambda {\sum }_{j=1}^d|{\omega }_j|$
$$\frac{\partial L}{{\omega }_l}=2\sum _{i=1}^n(\sum _{j=1}^d{\omega }_j{x}_{ij}+b-y_i)\ast x_{il}+\lambda \ast \frac{\partial {\sum }_{j=1}^d|{\omega }_j|}{{\omega }_l}$$

LASSO回归之所以产生稀疏解的原因，在于$C_l$落在$[-\lambda ,+\lambda ]$之间时就会强行令${\omega }_l$为0。