集成学习之stacking

 集成学习主要包括（Bagging，Boosting,Stacking） 众所周知，计算方法分为并行，串行，树行，他们分别对应以上三个集成方法。 并行的目的在于学习模型的稳定性，串行的目的在于解决并行中出现的泛化能力差之类问题，而树形即（stacking）的思想是什么呢? 个人给出两点： 1.人解决问题的思维是树形的，将模型树行化符合问题本身的逻辑，精确率和召回率呈稳态正相关 2.stacking使模型的融合更科学化，分层预测的计算结果远优于向量均值化和投票机制。

用一个基础模型model1进行5折交叉验证，先拿出四折作为training data，另外一折作为testing data。这样，就有五种组合，每一折都有一次机会被当作其余四折的测试集。（令测试集为0，则五种组合为：11110，11101，11011，10111，01111）。预测的结果组合起来作为新的training data。用训练集中的一折组成的测试集训练出来的模型对原测试集进行预测，五次取平均后，得到新的testing data。