幸福感预测的目的在于通过已知特征构建模型实现幸福感的预测。参考大佬模型,这里采用的流程如下:
- 首先进行异常值检测,同时对已有特征中的缺失值或异常值进行补足或删除处理:离散值众数填充,连续值均值或中位数填充,特殊值特殊填充;
- 基于已有特征根据个人理解构建新特征;
- 构建集成模型,比较有意思的是LightGBM可以得到特征的重要性排序;
- 进行模型调参:均方差越小,模型越好所以,按照这个标准进行参数寻优。这里在调参过程取比较小的迭代次数和比较大的学习率。
- 调参完成后,采用装袋的思路,采用不同的数据训练模型,对测试数据进行预测,这个过程采用比较大的迭代次数和比较小的学习率,最终结果为所有的预测结果取平均。
值得注意的是最后虽然响应是离散值,但是因为评价指标为均方差,所以将响应视作连续值进行回归。
由于采用的大佬的参数为基准,所以结果还可以:
但是我目前调参实际上是采用了遍历的方式,这样计算量很大,怎么进行高效调参,我还不太清楚。。。