机器学习特征工程-特征提取、选择、构建概述

1.特征工程
https://www.cnblogs.com/wxquare/p/5484636.html
特征构建部分：
属性分割和结合是特征构建时常使用的方法。结构性的表格数据，可以尝试组合二个、三个不同的属性构造新的特征，如果存在时间相关属性，可以划出不同的时间窗口，得到同一属性在不同时间下的特征值，也可以把一个属性分解或切分，例如将数据中的日期字段按照季度和周期后者一天的上午、下午和晚上去构建特征。总之特征构建是个非常麻烦的问题，书里面也很少提到具体的方法，需要对问题有比较深入的理解。

特征提取中的PCA
:特征向量可以理解为坐标准换中的新坐标轴的方向，特征值表示矩阵在对应的特征向量上的方差，特征值越大，方差越大，信息量越多。

基于机器学习模型的特征选择部分
线性模型和正则化：例如X1约等于X2，这个时候由于噪音e的存在，我们学到的模型可能就不是Y=X1+X2了，有可能是Y=2X1，或者Y=-X1+3X2。通过在模型中加入正则化项，也能起到特征选择的作用。L1正则化学到的是比较稀疏的模型，控制惩罚项系数alpha，会迫使那些弱的特征所对应的系数变为0，这个特征使得L1正则化成为一种很好的特征选择方法。L2正则化会使得系数的取值变得平均，对于关联特征，这意味则他们能够获得更加相近的对应系数。

特征选择