[机器学习]决策树和随机森林算法简介

决策树和随机森林算法简介

1-决策树

1.1-决策树模型的结构

决策树（decision tree）是一种分类与回归方法，本文主要讨论用于分类的决策树，决策树的结构呈树形结构，在分类问题中，其代表基于特征对数据进行分类的过程，通常可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型可读性好并且分类速度快。训练的时候，利用训练数据根据损失函数最小化的原则建立决策树模型。预测时对于新的数据，利用决策树进行分类。决策树的学习通常包括三个步骤：特征选择，生成决策树，对决策树进行剪枝。这些决策树的思想主要来自Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及Breiman等人在1984年提出的CART算法。

用于分类的决策树是一种对数据进行分类的树形结构。决策树主要由节点（node）和有向边（directed edge）组成。节点有两种类型：内部节点（internal node）以及叶节点（leaf node）。内部节点表示一个特征或者属性，叶节点表示一个类。其结构如图所示：

1.2-特征选择

特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树的学习效率，如果利用一个特征进行分类的结果与随机分类的结果没有太大差别，则称这个特征是没有分类能力的。通常扔掉这样的特征对于决策树的学习精度影响不大，通常特征选取的准则是信息增益或者信息增益比。

在信息论中，熵（entropy）是表示随机变量不确定性的度量，设X是一个取有限个值得离散随机度量，其概率分布为：

$$P(X={{x}_{i}})={{p}_{i}},i=1,2,...,n$$

那么随机变量的熵定义为：

$$H(X)=-\sum\limits_{i=1}^{n}{{{p}_{i}}\log {{p}_{i}}}$$
熵越大，随机变量的不确定性越大，从定义可以验证
$$0\le H(p)\le \log n$$
当 $p=0$或 $p=1$时 $H(p)=0$ ，随机变量完全没有不确定性，当 p=0.5