决策树算法的研究

先来一段决策树相关的小故事：

文献：周志华.机器学习[M].北京：清华大学出版社，2016: - 

最初的决策树算法是心理学家兼计算机科学家E.B.Hunt 1962年在研究人类的概念学习过程时提出的CLS（Concept Learning System），这个算法确立了决策树“分而治之”的学习策略。罗斯·昆兰在Hunt的指导下于1968年在美国华盛顿大学获得计算机博士学位，然后到悉尼大学任教。1978年他在学术假时到斯坦福大学访问，在一门研究生课程上要求写一个程序来学习出完备正确的规则，以判断国际象棋残局中一方是否会在两步棋后被将死。昆兰写了一个类似于CLS的程序。其中最重要的改进是引入了信息增益准则，后来他把这个工作整理出来在1979年发表，这就是ID3算法。1986年昆兰应邀在Machine Learning创刊号上重新发表了ID3算法，掀起了决策树研究的热潮，短短几年间众多决策树算法问世，ID4，ID5等名字迅速被其他研究者提出的算法占用，昆兰只好将自己的ID3后续算法命名为C4.0，在此基础上进一步提出了著名的C4.5（只是对C4.0做了些小改进），将后续的商业化版本称为C5.0。

看完小故事了，那我们开始进入正题，什么是决策树？？

决策树是一类常用的机器学习方法，是一种基于树结构来进行决策的分析方法，也是一种直观运用概率分析的图解法。由于其决策分支画成图形很像一棵树的枝干，故称决策树。一般地，每棵决策树都包含一个根结点、若干个内部结点和若干个叶结点，其中根结点（在树中用矩形表示）包含样本全集，叶结点（在树中用椭圆表示）对应于决策结果，其他每个结点（在树中用矩形表示）则对应于一个属性测试。从根结点到每个叶结点的路径对应了一个判定测试序列。决策树遵循的是”分而治之“（divide-and-conquer）策略，目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树。下面给出一个决策树示意描述，该树描述了一个是否选择网上购物的分类模型，利用它既可以对一个学生的网购行为进行分类预测，还可以分析是否选择网上购物的影响因素。

                                                                   决策树示意图

                                  

决策树生成基本算法：

决策树学习基本算法如下所述：
输入：训练集D={(x1,y1),(x2,y2),……，（xm,ym)};
     属性值A={a1,a2,……，ad}
处理流程：Generate_decision_tree(D,A)
1)创建一个结点N；
2）if D中样本全属于同一类别C then
3)  将N标记为C类叶结点；return
4)end if
5)if A为空 OR D中样本在A上取值相同 then
6)   将N标记为叶结点，其类别标记为D中样本类最多的类；return
7)end if
8)从A中选择最优划分属性a_*; (以下_表示下标，^表示上标）
9)for a_* 的每一个值a_*^v do
10)  为N生成一个分支；令D_y表示D中在a_*上取值为a_*^v的样本子集；
11） if D_y 为空 then
12)     将分支结点标记为叶结点，其类别标记为D中样本最多的类；return
13)  else
14)     以 Generate_decision_tree(D_y,A\({a_*})为分支结点
15） end if
16) end for
输出：以N为根结点的一棵决策树

常用的决策树算法有以下几个：ID3、ID4.5、ID5.0、CART

1）ID3算法（节点选择：信息增益最大）

 

 

信息熵（也叫熵，Entropy)：用来度量一个属性的信息量

假设S为训练集（即目标属性？），则该训练集S所包含的的信息熵定义为

                                 

信息增益：                     

                                                其中