【算法梳理Task1】 随机森林算法梳理

1. 集成学习概念

• 构建并通过多个学习器来完成学习任务的方式。也称为多分类器系统或者基于委员会的学习。
• 同质集成：只包含同类个体学习器。（称为基学习器）。异质集成：学习器由不同的学习算法生成。（称为组件学习器）
• 核心：如何产生“好而不同”的个体学习器。
• 根据个体学习器的生产方式，分为两类：

  • 个体学习器之间存在强相关，必须串行生成的序列化方法。如Boosting
  • 个体学习器之间不存在依赖关系，可以同时生成的并行化方法。如Bagging、随机森林。 

2. 个体学习器概念

      现有的学习算法从训练数据产生的模型。也称基学习器，组件学习器，弱学习器。

3. boosting bagging

• boosting

先从训练集训练出一个基学习器，根据学习器的表现来调整训练样本的分布。之前基学习器做错的样本将得到更大的关注。根据调整分布之后的样本来训练下一个基学习器。如此重复。

主要代表：AdaBoost.

• 标准的AdaBoost只适用于二分类

主要流程如下：

• bagging

  • 自主采样法：有放回的抽样。训练集中约有2/3的样本出现在训练集中
  • 算法流程如下：
  • 
  • （优）可以不加修改的应用于多分类、回归问题。
  • （优）剩下的约1/3的样本可用作验证集对泛化性能进行“包外估计”。（基学习器是决策树时，包外样本可以用来辅助剪枝；基学习器是神经网络时，包外样本可以用来辅助早期停止，减少过拟合）
  • 主要关注降低方差

4. 结合策略(平均法，投票法，学习法)

优点：

• 【统计方面】结合多个学习器，减小了使用单个学习器因误选导致的泛化性能不佳的风险。
• 【计算方面】通过多次运行之后进行结合，降低了陷入糟糕局部最小值点的风险。
• 【表示方面】结合多个学习器，相应的假设空间有所扩大，有可能得到更好的近似。
• 

• 平均法：

  • 简单平均：     
  •