java+决策树结构_机器学习——决策树，DecisionTreeClassifier参数详解，决策树可视化查看树结构...

释放双眼，带上耳机，听听看~！

0.决策树

决策树是一种树型结构，其中每个内部节结点表示在一个属性上的测试，每一个分支代表一个测试输出，每个叶结点代表一种类别。

决策树学习是以实例为基础的归纳学习

决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树。到叶子节点的处的熵值为零，此时每个叶结点中的实例都属于同一类。

1.决策树学习算法的特点

决策树算法的最大优点是可以自学习。在学习的过程中，不需要使用者了解过多知识背景，只需要对训练实例进行较好的标注，就能够进行学习了。

在决策树的算法中，建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法：

ID3

C4.5

CART

主要的区别就是选择的目标函数不同，ID3使用的是信息增益，C4.5使用信息增益率，CART使用的是Gini系数。

2.信息熵

在信息论与概率统计中，熵(entropy)是表示随机变量不确定性的度量。设X是一个区有限个值的离散随机变量，其概率分布为：

则随机变量X的熵的定义为：

在上述式中，若pi=0，则定义0log0=0，通常，式中的对数以2为底或者以e为底(自然对数)，这时熵的单位分别称作比特(bit)或者纳特(nat)。由定义可知，熵只依赖于X的分布，而与X的取值无关，所以也可以将X的熵记作H(p)，即：

熵越大，随机变量的不确定性就越大。从定义可以验证