R语言实现决策树算法

决策树算法的R实现

根据ppvk上的文章《基于 R 语言和 SPSS 的决策树算法介绍及应用》，只简单跑了关于R部分的代码，实验成功，简单记录下。

• 决策树算法简介
• R语言实现

---

决策树算法

决策树算法是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。
一个简单的决策树示例（图片来源网络）(https://book.douban.com/subject/26708119/)）:

决策树由节点和有向边组成，内部节点代表了特征属性，外部节点（叶子节点）代表了类别，根据一步步地属性分类可以将整个特征空间进行划分，从而区别出不同的分类样本。好的决策树不仅对训练样本有着很好的分类效果，对于测试集也有着较低的误差率。

数据集纯度函数

信息增益
信息熵表示的是不确定度。均匀分布时，不确定度最大，此时熵就最大。当选择某个特征对数据集进行分类时，分类后的数据集信息熵会比分类前的小，其差值表示为信息增益。
假设在样本数据集 D 中，混有 c 种类别的数据。构建决策树时，根据给定的样本数据集选择某个特征值作为树的节点。
在数据集中，可以计算出该数据中的信息熵：其中 D 表示训练数据集，c 表示数据类别数，Pi 表示类别 i 样本数量占所有样本的比例。

对应数据集 D，选择特征 A 作为决策树判断节点时，在特征 A 作用后的信息熵的为 Info(D)，其中 k 表示样本 D 被分为 k 个部分。
InfoA(D)=−∑ci=1∣∣Dj