【学习笔记】Lasso Feature Selection的系列知识

1. 线性回归-Linear Regression

• 用输入特征的线性组合建模目标变量
  $$y_{pred}=a_0+a_1{x}_1+...+a_n{x}_n$$
  系数$a_i$要去最小化某个代价函数
• 均方误差损失函数(MSE)
  $$\sum _{i=1}^{N_{training}}(y_{real}^{(i)}-y_{pred}^{(i)}{)}^2$$
• 线性回归对共线性(Collinearity)非常敏感，即特征之间的相关性
  考虑预测的方差：
  $${\sigma }_{y_{pred}}^2=\sum _i{a}_i^2{\sigma }_i^2+\sum _{i\ne j}{a}_i{a}_j{\rho }_{ij}{\sigma }_i{\sigma }_j$$
  ${\sigma }_i$：第$i$个特征的标准差
  ${\rho }_{ij}$：是特征i和特征j的皮尔森系数
  发现，互相正相关的特征会增加预测的方差，这是线性回归的很大的问题
• 要避免共线性，就要提前进行特征选择，比如PCA可以得到不相关的特征

2. 岭回归(Ridge regression)

• 在损失函数里加入$l_2$惩罚项
  $$\sum _{i=1}^{N_{training}}(y_{real}^{(i)}-y_{pred}^{(i)}{)}^2+\alpha \sum _{j=1}^n{a}_j^2$$
  $\alpha$：超参数
  目的是缩小参数值以扔掉没用的特征
• 只有一个超参数，所以要提前缩放特征，可以使用规范化等技术(数据预处理)。
  惩罚项可以减少过拟合的风险，有时岭回归可以使某些特征的系数为0，相当于实施了特征选择

3. Lasso 回归

• 使用$l_1$惩罚项
  $$\frac{1}{2N_{training}}\sum _{i=1}^{N_{training}}(y_{real}^{(i)}-y_{pred}^{(i)}{)}^2+\alpha \sum _{j=1}^n|a_j|$$
• 特征的系数越大，损失函数的值就越大
• 自动特征选择，如果两个特征是线性相关的，它们的同时存在将增加代价函数的值，因此Lasso回归将尝试将不太重要的特征的系数缩小到0，以便选择最佳特征。