随机森林算法

  随机森林算法

1．1 题目的主要研究内容

（1）随机森林的基本原理，随机森林的构造过程，使用Python构建和使用随机森林算法，随机森林实现过程中遇到的问题。

（2）对随机森林的构造过程讲解，利用python进行随机森林构造过程进行演示，并随机输入一个样本，预测模型正确率。

1．2 题目研究的工作基础或实验条件

（1）硬件：PC机

（2）软件：python

1．3 设计思想

随机森林算法是最常用的监督学习算法之一，它兼顾了解决回归问题和分类问题的能力。随机森林是通过集成学习的思想，将多棵决策树进行集成的算法。对于分类问题，其输出的类别是由个别树输出的众数所决定的。在回归问题中，把每一棵决策树的输出进行平均得到最终的回归结果。

因此用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。随机森林可以既可以处理属性为离散值的量，比如ID3算法，也可以处理属性为连续值的量，比如C4.5算法。此外还有CART算法，在这里我们选择的就是利用CART决策树，既可以用作分类（判别）树，也可以用作回归（预测）树。

1. 4 生成原理

样本随机：假设训练数据集共有M个对象的数据，从样本数据中采取有放回（Boostrap）随机抽取N个样本（因为是有放回抽取，有些数据可能被选中多次，有些数据可能不被选上），每一次取出的样本不完全相同，这些样本组成了决策树的训练数据集。

特征随机：假设每个样本数据都有K个特征，从所有特征中随机地选取k（k<=K）个特征，选择最佳分割属性作为节点建立CART决策树，决策树成长期间k的大小始终不变（在Python中构造随机森林模型的时候，默认取特征的个数k是K的平方根）。

重复前面的步骤，建立m棵CART树，这些树都要完全的成长且不被修剪，这些树形成了森林。

根据这些树的预测结果进行投票，决定样本的最后预测类别。针对回归模型，是根据这些决策树模型的平均值来获取最终的结果。

首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting（过拟合）。然后进行列采样，从M个feature中，选择m个（m << M）。

之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤——剪枝，但是这里并不会这样做，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting（过拟合）。

1．4 流程图

1．5 主要程序代码

# 建立一棵CART树

'''试探分枝'''