机器学习算法-决策树（二）

决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。分类与回归树CART 模型最早由Breiman 等人提出，也已经在统计领域和数据挖掘技术中普遍使用。本章将对这三种常见的决策树算法进行简单介绍。

八、信息增益选择属性-ID3

S是一个训练样本的集合，该样本中每个集合的类编号已知。每个样本为一个元组，有个属性用来判定某个训练样本的类编号。

假设S中有$m$个类，总共$s$个训练样本，每个类$C_{i}$有$s_{i}$个样本($i＝1,2,3...m$)，那么任意一个样本属于类$C_{i}$的概率是$s_{i} / s$，那么用来分类一个给定样本的期望信息是：

$$I(s_{1},s_{2},...,s_{m} )=-\sum^{m}_{i=1}\frac{s_{i}}{s}log_{2}\frac{s_{i}}{s}.$$

一个有$v$个值的属性$A=\{a_1,a_2,...,a_v\}$可以将S分成$v$个子集{$S_1,S_2,...,S_v$}，其中$S_j</script$