本文为《Ensemble Methods Foundations and Algorithms》的读书笔记,由于用word记录,其中有很多公式和图片在csdn上不好显示,所以直接上传word文档。持续更新中 目录 2 Boosting.0 2.1 Boosting过程...0 2.2 AdaBoost算法...0 2.3 例子...0 2.4 相关理论分析...0 2.4.1 初始状态分析...0 2.4.2 对间隔的解释...0 2.4.3 统计观点...0 2.5 多分类扩展...0 2.6 噪声误差...0 2.7 进一步阅读...0 3 Bagging.0 3.1 两种集成模式...0 3.2 Bagging算法...0 3.3 示例...0 3.4 理论问题...0 3.5 随机集成树...0 3.5.1 随机森林...0 3.5.2 随机谱...0 3.5.3 随机树集成算法估计概率密度...0 3.5.4 随机集成树异态检测...0 3.6 进一步阅读...0 4 集成方式...0 4.1 集成的益处...0 4.2 平均方法...0 4.2.1 简单平均...0 4.2.2 加权平均...0 4.3 投票法...0 4.3.1 多数表决...0 4.3.2 多元表决...0 4.3.3 加权表决...0 4.3.4 Soft表决...0 4.3.5 相关理论...0 4.3.5.1 多数表决的理论边界...0 4.3.5.2 决策边界分析...0 4.4 通过学习的组合方法...0 4.4.1 Stacking方法...0 4.4.2 无限集成...0 4.5 其它组合方法...0 4.5.1 代数方法...0 4.5.2 行为知识空间法...0 4.5.3 决策模板法...0 4.6 相关方法...0 4.6.1 误差校正输出代码...0 4.6.2动态分类器选择...0 4.6.3 混合专家...0 4.7 进一步阅读...0 5 多样性...0 5.1 集成多样性...0 5.2 误差分解...0 5.2.1 歧义误差分解...0 5.2.2 偏差、方差、协方差分解...0 5.3 多样性度量方法...0 5.3.1 Pairwise度量法...0 5.3.2 非Pairwise度量法...0 5.5.3 归纳和可视化...0 5.3.4 多样性度量方法的局限性...0 5.4 信息理论的多样性...0 5.4.1 信息论和集成方法...0 5.4.2 互信息的多样性...0 5.4.3 多信息的多样性...0 5.4.4 估计方法...0 5.5 多样性的产生...0 Ensemble Methods Foundations and Algorithms读书笔记