ML21_集成学习_核心知识点 机器学习

[期末考试][笔记整理]

1. 集成学习基本思路: 结合多个学习器

---

4. 集成学习的分类
   1. 同质:
      1. 组成:同类个体学习器
      2. 组件被称为:基学习器
   2. 异质
      1. 组成:非同类个体学习器
      2. 组件被称为:组件学习器

---

5. 弱学习器
   1. 定义: 略强于随机猜测的学习器
   2. 效果: 集成弱学习器的效果较好
   3. 实际使用: 为了减少学习器个数\重用经验,往往用强学习器

---

6. 学习器的要求
   1. 准确
   2. 多样

---

7. 按个体生成方法集成学习分类
   1. boosting: 个体间强依赖,串行生成
   2. bagging与随机森林: 个体间不存在强依赖,可并行生成

---

8. boosting
   1. 思路: 训练一个基学习器-> 根据效果调整样本分布–> 用调整后的样本训练下一个学习器–> 生成一定数量的学习器后,加权结合
   2. 代表:adaboost
   3. 样本分布的调整方法
      1. 重赋权:
         1. 按照要求更新权重
         2. 抛弃后停止
      2. 重采样
         1. 抛弃后可重启动
   4. 侧重点:偏差

---

9. bagging
   1. 思路:使用自助法,得到多个交叠的采样子集,生成多个学习器
   2. 结合方法
      1. 回归问题:平均
      2. 分类问题:投票
   3. 算法[书本]

---

10. 随机森林
11. 概念:决策树的bagging集成
12. 随机性的体现:
    1. 最优划分时
    2. 随机生成属性子集,从中选择(而不是从可用属性中选)
13. 特点
    1. 简单 开销小
    2. 多样性强= 样本扰动+ 属性扰动
    3. 个体性能查 但集成起来效果好
    4. 训练效率高(因为属性集变小了)
    5. 不相关的结果可用互相抵消
    6. 不敏感 支持并行
    7. 大噪声 易过拟合

---

11. 多个学习器结合的好处
12. 在相同性能的假设上有多次选择,避免误选
13. 有机会跳出局部极小点
14. 能够扩大假设空间

---

12. 结合策略
    1. 平均法
       1. 加权平均不一定优于简单平均
       2. 大规模数据下 加权易过拟合
       3. 学习器之间性能差距大才进行加权
    2. 投票法
       1. 分类
          1. 绝对多数: 未过半可拒绝投票
          2. 相对多数: 最多的标记,多个最多则任选
          3. 加权
       2. 使用类概率一般好于类标记
    3. 学习法
       1. 思路:初级学习器+ 次级学习器
       2. 代表:stacking
       3. 特点:鲁棒 不敏感

---

13. 误差-分歧分解
    1. 形式: E= $\bar{E}-\bar{A}$ 误差-分歧
    2. 不能作为优化目标的原因
       1. 定义在整个样本空间
       2. 构造完模型后才能取得

---

14. 多样性度量: 关注个体学习器的相似性
    1. 指标:
       1. 相关系数
       2. Q统计量
       3. K统计量

---

15. k-误差图
    1. 点云高:准确度低
    2. 点云靠右: 多样性低

---

16. 多样性的增强方法
    1. 数据扰动
       1. 适用: 不稳定的基学习器(树 神经网络)
    2. 属性扰动
       1. 适用:稳定的基学习器(SVM 贝叶斯 线性)
    3. 输出扰动
       1. 改标记
       2. 转化输出
       3. 拆解
       4. 强制算法参数