二手车价格预测实战（四）——模型融合

模型融合

定义：

模型融合：把独立的学习器组合起来的结果

• 如果独立的学习器为同质，称为基学习器（都为SVM或都为LR）
• 如果独立的学习器为异质，称为组合学习器（将SVM+LR组合）

为啥需要模型融合？

将几个独立学习器的结果求平均，在统计、计算效率、性能表现上都有较好的效果。
统计上：假设空间中几个学习器的假设函数的平均更接近真实的假设f
计算上：迭代求解可能落入局部最优解，但是多个局部最优解的平均更接近全局最优解。损失函数有可能不是光滑的，不同的初始点和学习率可能有不同的局部最小，将其平均能得到更好的。
性能表现上：真实的假设函数f可能不在已知的假设空间H内，学习器的平均更可能接近H外的真实假设H。如果模型本身就不具备表达场景的能力，那么无论怎么搜索H都不会搜到。

类型：

1.简单加权融合:
回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
分类：投票（Voting)
综合：排序融合(Rank averaging)，log融合
2.stacking/blending:
构建多层模型，并利用预测结果再拟合预测。
3.boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）:
多树的提升方法

参考资料：

[1]https://blog.csdn.net/jiaoyangwm/article/details/81186509
[2]https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.3.1cd8593aw4bbL5&postId=95535