在聚类算法(一)中讲到,K-means算法可以完成很多分类任务,但是最大的缺点就是无法给出数据的内在含义,决策树的主要形式就在于数据形式非常容易理解。
优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据。
缺点:可能会产生过度匹配的问题。
使用数据类型:数值型和标称型。
伪代码如下:
检测数据集中每个子项是否属于同一分类:
if so return 类标签
else:
寻找划分数据集的最好特征
划分数据集
创建分支节点
for 每个划分的分支节点
调用creatBranch函数并增加返回结果到分支节点中
return 分支节点
划分数据集的大原则是:将无序的数据变得更加有序。ID3算法采用信息增益值来判断在哪个类标签进行分类,信息增益这个词是由20世纪最聪明的几个人之一——香农,发明的。
熵定义为信息的期望值,在明晰这个概念之前,我们必须要知道信息的定义。为了计算熵,我们需要计算所有类别所有可能值包含信息期望值,通过下面公式得到: