《机器学习实战》学习总结（二）决策树算法原理

概述

决策树分类算法属于有监督类学习算法。

该分类算法需要利用训练数据得到分类模型，然后再对待分类点进行决策分类。

分类模型（决策树）的计算过程如下：

1、计算训练数据的原始熵

2、分析训练数据，得到每个特征及其的可能取值

3、计算按每个特征分类后的熵

4、选择原始熵与每个特征分类后熵差值最大的那个特征作为分类特征

    （说明：把一个数据集按某个特征分成多个数据集后，这些数据集的熵一定是小于原数据集的熵的）

5、在步骤4中找到了第一个分类特征，接下来对分类后的数据集分别重复上述过程，即可得到决策树模型

6、如果数据集已经处理了所有属性，但是类标签依然不是唯一的，这种情况下，通常会采用投票的方式决定该几点的分类，即计算那个标签出现的频次最多，则选取该标签作为分类特征。

模型训练过程如下所示：

说明：每次计算熵的过程只与数据集的Lable有关，确切的说是每个Lable取值的概率有关

如下通过一个示例说明将数据集分裂后，熵值会变小：

原始数据集：

F1	F2	F3	Lable
0	0	0	L1
1	1	1	L1
0	1	2	L2

标签L1的概率2/3，标签L2的概率 1/3

熵=-2/3*log(2/3)-1/3*log(1/3) =0.2764

特征值F1有两种取值0和1，据此将上述数据集分为两个：

F1	F2	F3	Lable
0	0	0	L1
0	1	2	L2
F1	F2	F3	Lable
1	1	1	L1

第一个数据集占总数据集的2/3，其中L1的概率：1/2，L2的概率1/2

第二个数据集占总数据集的1/3,L1的概率为：1

熵=-{2/3*[1/2*log(1/2)+1/2*log(1/2)]}-[1/3*(1*log(1))]=0.2007

可以看出按特征值L1的取值分成的两个数据集的熵要比原来数据集的熵小。