机器学习（八）：Bagging与随机森林

更多内容关注公众号：数学的旋律

tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物

引言

    Bagging基于自助采样法（bootstrap sampling），采样出T个含N个训练样本的采样集，然后基于每个采样集训练出一个基学习器，最后将这些基学习器进行结合得到最终结果。
    随机森林（Random Forest,RF）是Bagging的一个扩展变体，以决策树为基学习器，并针对基决策树引入了随机属性选择，即传统决策树在选择划分属性时是在当前结点的属性集合（假定有n个属性）中选择最优属性，而RF是对基决策树的每个结点，随机选择k个属性(k≤n)进行选择。

一、Bagging

1.基本思路

    Bagging基于我们在简介中介绍过的自助采样法，使用自助采样法，我们可采样出T个含N个训练样本的采样集，其中约有63.2%的样本出现在采用集中。然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合。这就是Bagging的基本流程。
    在对预测输出进行结合时，Bagging通常对分类任务使用简单投票法（即在测试样本用T个基学习器进行分类后，得到的T个结果中，选择得票最高的类），对回归任务使用简单平均法。若分类预测时出现两个类收到同样票数的情形，则最简单的做法是随机选择一个，也可进一步考察学习器投票的置信度来确定最终胜者。
    与标准AdaBoost只适用于二分类任务不同（为处理多分类或回归任务，AdaBoost需进行修改），Bagging能不经修改地用于多分类、回归等任务。

2.算法

算法1
输入：训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} D={(x1​,y