机器学习-决策树属性分类方法公式
主要简单介绍了ID3、C4.5、CART决策树如何确定不同属性的顺序。ID3:信息熵增益C4.5:增益率CART:gini不纯度1. ID3信息熵计算:H = sum(-Pi*log2(Pi))例子:sexagelabel05011010510100首先看label的信息熵:label分为两类:概率都是1/2,则:-2/4log2(2/4)+(-2/4)log(2/4)=1age的信息熵:age主要有5,10两类,对于age=5
原创
2020-07-29 22:27:54 ·
561 阅读 ·
0 评论