太强了太强了
特征工程
神神奇奇,数据增广之后还要删一删特征
挑出最重要的49个特征,做一组样本集
one-hot之后,又得到一组样本集
哇偶,原来特征工程是这样的,可以重新构建三个数据集,学到了学到了
- 初始的263个特征
- 最重要的49个特征
- onehot之后的383个特征
特征建模
对263维搞事情
lightGBM
XGBoost
RandomForestRegressor
GradientBoostingRegressor
ExtraTreesRegressor
对49维数据集搞事情
以下针对49维数据集搞点特殊
KernelRidge 核岭回归
Ridge 岭回归
BayesianRidge 贝叶斯岭回归
ElasticNet 弹性网络
对383维数据集搞事情
模型融合
更好的方式是将以上的4种集成学习模型再次进行集成学习的训练,这里直接使用LinearRegression简单线性回归的进行集成。