决策树的构建算法
决策树的构建算法
决策树算法用到的是,纯度的另一面不纯度。
ID3是基本算法,后两种都是在ID3的基础上优化后的算法。
ID3算法
使用信息增益作为不纯度。
即用信息增益来判断当前的节点用什么样的特征来构建决策树。信息增益越大,不确定性的减少程度越大,越适合用来构建决策树。
信息增益
也称作互信息,也就是下图的阴影部分。
是用来衡量在已知Y的情况下X不确定性的减少程度or在已知X的情况下Y不确定性的减少程度。也就是表示X事件和Y事件的共同信息。
具有对称性。
表示为:I(X,Y)=H(X)−H(X∣Y)I
原创
2021-08-31 22:11:32 ·
392 阅读 ·
0 评论