今天看了机器学习论文《基于集成学习的微博用户转发行为预测》,第一次“重视”起来起来集成学习,该方法将多个机器学习算法得出的结果按照某种规则进行整合,以获得比单个学习器更好的预测效果。因此,该论文采用基于“加权投票法”的集成学习算法预测微博用户的转发行为,对 Logistic回归、支持向量机与 BP神经网络等机器学习算法得出的用户转发行为结果进行融合,提高了预测性能。在该文结论中,提出可以采用 “学习法”中的stacking 方法,觉得推荐系统也可以采用该方法,所以对stacking进行简单的了解一下。
stacking方法:
将训练好的所有基模型对整个训练集进行预测,第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值,最后基于新的训练集进行训练。同理,预测的过程也要先经过所有基模型的预测形成新的测试集,最后再对测试集进行预测(这种定义可以结合图二理解)
图一(不知道New data 部分是做什么的)
可以通过经典的stacking过程图来加深理解: