2021-04-24

二手车交易价格预测-Task5 建模调参

1 学习目标

对于多种调参完成的模型进行模型融合。
完成对于多种模型的融合，提交融合结果并打卡。

2 内容介绍

模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。

2.1 简单加权融合:

• 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）
• 分类：：投票（Voting)
• 综合：排序融合(Rank averaging)，log融合

2.2 stacking/blending:

• 构建多层模型，并利用预测结果再拟合预测

2.3 boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）

• 多树的提升方法

3 Stacking相关理论介绍

什么是 stacking
简单来说 stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。

将个体学习器结合在一起的时候使用的方法叫做结合策略。对于分类问题，我们可以使用投票法来选择输出最多的类。对于回归问题，我们可以将分类器输出的结果求平均值。
上面说的投票法和平均法都是很有效的结合策略，还有一种结合策略是使用另外一个机器学习算法来将个体机器学习器的结果结合在一起，这个方法就是Stacking。
在stacking方法中，我们把个体学习器叫做初级学习器，用于结合的学习器叫做次级学习器或元学习器（meta-learner），次级学习器用于训练的数据叫做次级训练集。次级训练集是在训练集上用初级学习器得到的。

总结

学习到这一部分已经产生了许多问题，需要对相关书籍进行系统的学习，第一次完全小白的情况下，代码以及知识部分需要一段时间进行理解，相信通过学习与Datawhale训练，自身水平能快速的提高。