机器学习（8）

机器学习笔记------------------------------集成学习

集成学习

个体与集体 集成学习（ensemble learning） 构建并结合多个学习器来完成学习任务 基学习器 同质集成中的个体学习器 目的 通过结合多个学习期获得更优越的性能 投票法 少数服从多数，选择最终结果 醉着个体分类器数量增多，错误率会指数型下降 准确性与多样性相冲突 集成算法可分两类 个体学习期间存在强依赖关系，必须串行生成的序列化方法：boosting 个体学习器间不存在强依赖关系，可以同时生成的并行化方式：bagging、随机森林 Boosting 将弱学习器提升为强学习器的算法 先从训练集中练出一个基学习器， 再根据表现对样本重新调整，提高之气错误样本的地位，再训练 如此重复，直至达到数量要求， 最好将所有学习器加权结合 最著名的算法  adaboosting Bagging与随机森林 想要得到泛化性能强的集成，个体学习器应该相互独立，可以考虑使用互有交叠的采样子集（不同、但有联系） bagging 并行使集成学习方法最著名代表，基于自助采样法，主要关注降低方差 bagging的一个扩展变体 结合策略 统计方面：减小误选导致泛化性能不佳的风险 计算方面：降低陷入局部极小的风险 表示方面：有可能获得更好的近似 对数值型输出的结合策略有平均法、投票法 简单平均法、加权平均法 绝对多数投票法（超过半数）、相对多数（数量最多即可）、加权投票 学习法典型代表stacking 多样性 误差-分歧分解 个体学习器准确性越高、多样性越大，集成越好 多样性度量 用于度量集成中个体分类器的多样性 多样性增强 数据样本扰动、输入属性扰动输出表示扰动、算法参数扰动

参考文献

周志华. 机器学习