基于R语言的分类算法之决策树

C5.0 决策树

“我种下一颗种子，终于长成了大树，今天是个伟大日子”——美国总统华盛顿

ID3 《= 最大信息熵增益，只能处理离散型数据

C4.5 《= 信息增益率，可处理连续性和离散型数据， 相比ID3，减少了因变量过多导致的过拟合

C5.0 《= 信息增益率，运算性能比C4.5更强大

CART 《= 基尼指数最小原则，连续性和离散型数据均可

信息熵体现的是数据的杂乱程度，信息越杂乱，信息熵越大，反之越小。 例如：拥有四种连续型变量的特征变量的信息熵一定比拥有三种的要大。

特征变量的N种可能性，每种可能性的概率相同，N越大，信息熵越大。

每种可能性的概率不同，越偏态，信息熵越小。

所有特征变量中，信息增益率的，就是根节点（root leaf），根节点一般是选择N越大的特征变量，因为N越大，信息熵越大。

信息增益率是在信息熵的基础上作惩罚计算，避免特征变量可能性多导致的高信息增益。

代码相关

library（C50）

C5.0(x,y, trials = 1, rules= FALSE,weights=NULL,control=C5.0Control(),costs