集成学习 stacking （一）

           今天看了机器学习论文《基于集成学习的微博用户转发行为预测》，第一次“重视”起来起来集成学习，该方法将多个机器学习算法得出的结果按照某种规则进行整合，以获得比单个学习器更好的预测效果。因此，该论文采用基于“加权投票法”的集成学习算法预测微博用户的转发行为，对 Logistic回归、支持向量机与 ＢＰ神经网络等机器学习算法得出的用户转发行为结果进行融合，提高了预测性能。在该文结论中，提出可以采用 “学习法”中的stacking 方法，觉得推荐系统也可以采用该方法，所以对stacking进行简单的了解一下。

stacking方法：

         将训练好的所有基模型对整个训练集进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测（这种定义可以结合图二理解）

                                            图一（不知道New data 部分是做什么的）

可以通过经典的stacking过程图来加深理解：