机器学习之特征融合

模型融合

1 模型优化

模型优化方法：研究模型学习曲线，判断模型是否过拟合或者欠拟合并做出相应的调整；对模型权重参数进行分析，对于权重绝对值高或低的特征，可以进行更细化的工作，也可以进行特征组合；进行Bad-Case分析，针对错误的例子确定是否还有地方可以修改挖掘；进行模型融合。

1.1模型学习曲线

出现高偏差，说明模型太过简单，没有能力学习到样本的底层规律，此时训练集和验证率都会很低。出现高方差，说明模型太过复杂，学习太过，在训练集上的准确率比较好，但是在验证集上的泛化能力较差，验证集的准确率比较低，两个准确率相差较大。

1.2模型融合提升技术

模型融合，即先产生一组个体学习器，再用某种策略将它们结合起来，以加强模型效果。分析表明，随着集成中个体分类器数目T的增加，集成学习器的错误率将呈指数级下降，最终趋于零。通过融合可以达到“取长补短”的效果，综合个体学习器的优势是能降低预测误差、优化整体模型性能。而且，个体学习器的准确性越高、多样性越大，模型融合的提升效果就越好。
按照个体学习器的关系，模型融合提升技术可以分为两类：
（1）个体学习器间不存在强依赖关系可同时生成的并行化方法，代表是Bagging方法和随机森林。
（2）个体学习器间存在强依赖关系必须串行生成的序列化方法，代表是Boosting方法。
1）Bagging方法和随机森林
Bagging（