ID3算法

ID3

熵公式

$$Entropy(S) = \sum_{i=1}^c - p_ilog_2p_i$$

Gain信息增益

$$Gain(S, A) = Entropy(S) - \sum_{v \in V_A}\frac{|S_v|}{|S|}Entropy(S_v)$$ $V_A$ 是属性A的值域
$S$ 是样本集合
$S_v$是 $S$中在属性$A$上值等于 v <script id="MathJax-Element-40" type="math/tex">v</script>的样本集合