特征工程的（第三次课程下一个月销售预测）

特征工程分类（第三次课程下一个月销售预测）

1.特征的构造：四则运算 加减乘除构建出新特征等
2.特征的生成：对主成分分析或者因子分析。比如卷积神经网络的卷积层就是一个特征生成的过程，一张图片，经过卷积的不断扫描，就会把原始图片里边的好多特征逐步提取出来，这个就是特征生成。
3.特征的选择：特征工程是发现重要特征的，对因变量y有明显影响作用的特征，可以通过统计学习中的回归方程看x 对 y的影响
（1）先把所有的变量一起和y做一个回归，在逐渐去掉某些x，观察模型的deviance如何变化，这类方法其实叫 Wrapper Methods。
（2）lasso回归：当因变量y是离散的。本质上用了一种正则化的手段，索套。不仅可以约束系数，而且可以在模型最优的时候把不重要的系数约束为0.既然x的系数都成了0了，

实际上除了决策树，随机深林（random forest），bagging，boosting，gradient booting, 已经xgboost都有特征选择的功能，特别是xgboost，这个算法很厉害，和BGM其实比较相似，后面我们会进行对比。除了基于树的模型呢，还有其他模型，比如神经网络，支持向量机也都有变量选择的功能。
————————————————
参考原文链接：https://blog.csdn.net/hfutxiaoguozhi/article/details/78756138