第19步 机器学习分类实战：特征工程（下）

---

前言

再再再一次给你们植入思想钢印：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
好了，我们继续：

三、重要性评分

经过第二步的相关性分析，剩下的自变量（B、E、F、G、H、J、K、L、M、N、O、P和R）居然没有高度相关，所以，这一步不用了，散了散了，都怪我编的数据不够好。
还是介绍一下，一般来说评价特征重要性的常用模型有：Lasso回归、随机森林、Xgboost等，下面挑一些介绍。

（1）Lasso回归

太经典了，经典到我就不说了（因为我没做过），丢2个教程自学哈：
① https://blog.csdn.net/weixin_39707597/article/details/113085862 （用R）
② https://blog.csdn.net/sinat_41858359/article/details/124765520 （用python）

---

（2）随机森林

我习惯用RF，偏科严重，之前也介绍过了，唯一一点：全部数据都是训练集去训练模型，然后输出特征重要程度。
首先，建模：

import numpy as np
import matplotlib