《机器学习实战》个人学习记录笔记（四）———决策树

第三章 决策树

PS：个人笔记 根据《机器学习实战》这本书，Jack-Cui的博客，以及深度眸的视频进行学习

1 决策树原理

决策树(decision tree)是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

2 优缺点及适用数据范围

优点：

①计算复杂度不高，输出结果易于理解 （每次都是基于某一列特征来算，在算下一次递归后，就不考虑该列特征了。并且通过剪枝使的计算不复杂。结果是通过树形结果显示，很清楚就能分别。）

②对中间值的缺失不敏感

③可以处理不相关特征数据（因为是基于特征列来算的，不考虑列与列之间的关系）

缺点：

可能会产生过度匹配问题（就是过拟合了）

适用数据类型：

数值型和标称型

3 集合信息的度量方式 ⭐  熵

香农熵或者简称为熵(entropy)，这个名字来源于信息论之父克劳德·香农

熵定义为信息的期望值。在信息论与概率统计中，熵是表示随机变量不确定性的度量。如果待分类的事务可能划分在多个分类之中，则符号xi的信息定义为

  ，     其中p(xi)是选择该分类的概率。

通过上式，我们可以得到所有类别的信息。为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值(数学期望)，通过下面的公式得到：             

其中n是分类的数目。熵越大，随机变量的不确定性就越大。