课程资源 : 传送门 编程软件: VScode 编程语言: python3.6.6 基本概念 熵:描述不确定性的数学量,不确定性越大熵值越大 信息增益:表示特性X使得类Y的不确定性减少的程度,可以用熵值的变化来描述 GINI系数: 和熵值的衡量标准类似,计算防止不同: G i n i ( p ) = 1 − ∑ k = 1 K p k 2 Gini(p) = 1- \sum_{k=1}^{K} p_k^2 Gini(p)=1