【转】
目录
南京大学的周志华教授对集成学习有深入的研究,其在09年发表的一篇概述性论文http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/springerEBR09.pdf
1 前言
2 集成学习是什么?
3 偏差和方差
3.1 模型的偏差和方差是什么?
3.2 bagging的偏差和方差
3.3 boosting的偏差和方差
3.4 模型的独立性
3.5 小结
4 Gradient Boosting
4.1 拟合残差
4.2 拟合反向梯度
4.2.1 契机:引入损失函数
4.2.2 难题一:任意损失函数的最优化
4.2.3 难题二:无法对测试样本计算反向梯度
4.3 常见的损失函数
4.4 步子太大容易扯着蛋:缩减
4.5 初始模型
4.5 Gradient Tree Boosting
4.6 小结
5 总结
6 参考资料