机器学习分类算法(六)-随机森林算法

集成算法

集成学习（ensemble learning）是目前非常流行的机器学习策略，基本上所有问题都可以借用其思想来得到效果上的提升。基本出发点就是把算法和各种策略集中在一起，说白了就是一个搞不定大家一起上！集成学习既可以用于分类问题，也可以用于回归问题，在机器学习领域会经常看到它的身影，本章就来探讨一下几种经典的集成策略，并结合其应用进行通俗解读。

Bagging算法

集成算法有3个核心的思想：bagging、boosting和stacking，这几种集成策略还是非常好理解的，下面向大家逐一介绍。

并行的集成

Bagging即boostrap aggregating，其中boostrap是一种有放回的抽样方法，抽样策略是简单的随机抽样。其原理很直接，把多个基础模型放到一起，最后再求平均值即可，这里可以把决策树当作基础模型，其实基本上所有集成策略都是以树模型为基础的，公式如下：
f ( x