决策树(一)ID3和C4.5算法原理与实现
一、预备知识
1、信息熵
H(p) = (可以从,信息量相加就是独立随机事件相乘来理解,所以需要取对数),熵entropy这个词本身代表不确定性的意思,而不确定性越大,信息量则越大。
2、条件熵
H(D|A)=,pi表示某一子集占统计量的比列,H(Di)为该子集的信息量
3、信息增益
g(D,A) = H(D) - H(D|A)
4、信息增益比
g(D,A) /H(D|A)
二、...
原创
2018-11-15 00:28:17 ·
445 阅读 ·
0 评论