集成学习之幸福感预测

幸福感预测的目的在于通过已知特征构建模型实现幸福感的预测。参考大佬模型，这里采用的流程如下：

1. 首先进行异常值检测，同时对已有特征中的缺失值或异常值进行补足或删除处理：离散值众数填充，连续值均值或中位数填充，特殊值特殊填充；
2. 基于已有特征根据个人理解构建新特征；
3. 构建集成模型，比较有意思的是LightGBM可以得到特征的重要性排序；
4. 进行模型调参：均方差越小，模型越好所以，按照这个标准进行参数寻优。这里在调参过程取比较小的迭代次数和比较大的学习率。
5. 调参完成后，采用装袋的思路，采用不同的数据训练模型，对测试数据进行预测，这个过程采用比较大的迭代次数和比较小的学习率，最终结果为所有的预测结果取平均。
   值得注意的是最后虽然响应是离散值，但是因为评价指标为均方差，所以将响应视作连续值进行回归。
   由于采用的大佬的参数为基准，所以结果还可以：
   
   但是我目前调参实际上是采用了遍历的方式，这样计算量很大，怎么进行高效调参，我还不太清楚。。。