决策树（ID3、C4.5、CART）算法——机器学习入门

task3

信息论基础

• 熵：

$$\mathrm{H}(\mathrm{X})=-\sum _{\mathrm{i}=1}^n{p}_i\log p_i$$

• 联合熵：

H ( X , Y ) = − ∑ x ∑ y P ( x , y ) log ⁡ 2 [ P ( x , y ) ] \mathrm{H}(X, Y)=-\sum_{x} \sum_{y} P(x, y) \log _{2}[P(x, y)]