python决策树预测模型_机器学习：决策树（Decision Tree）

决策树（decision

tree）是一种基本的分类与回归方法。在分类问题中，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。在学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型；在预测时，对新的数据，利用决策树模型进行分类。

1、决策树 1）决策树是一种树形结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个测试输出，每个节点代表一种类别。 2）决策树学习是以实例为基础的归纳学习，在本质上是从训练数据集中归纳出一组分类规则，其学习的策略是以损失函数（损失函数通常是正则化的极大似然函数）为目标函数的极小化。 3）决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶子节点中的实例都属于一类。

2、特征选择 特征选择在于选取对训练数据具有分类能力的特征，以提高决策树学习的效率。通常特征选择的准则是信息增益或信息增益比，在CART树里使用的是Gini指数。

2.1 信息增益（information gain） 首先来了解下熵和条件熵的定义。 熵（entropy）是表示随机变量不确定性的度量。设X是一个取有限个值的离散随机变量，其概率分布为

则随机变量X的熵定义为

在上式中的对数通常以2为底或以e为底（自然对数），这时熵的单位是比特（bit）或纳特（nat）.

**条件熵（conditional

entropy）**H（Y|X）表示在已知随机变量X的条件下随机变量Y的不确定性。定义为X给定条件下随机变量Y的条件概率分布的熵对X的数学期望

当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别成为经验熵和经验条件熵

信息增益（information

<