| model | feature select | 树的类型 | 计算公式 |
|---|---|---|---|
| ID3 | {分类:信息增益} | 多叉树 | g ( D , A ) = H ( D ) − H ( D ∥ A ) g(D,A)=H(D)-H(D\|A) g(D,A)=H(D)−H(D∥A) |
| C4.5 | {分类:信息增益比} | 多叉树 | g R ( D , A ) = g ( D , A ) H A ( D ) g_R(D,A)=\frac{g(D,A)}{H_A(D)} gR(D,A)=HA(D)g(D,A) |
| CART | {分类:基尼指数} | 二叉树 | G i n i ( p ) = ∑ k = 1 K p k ( 1 − p k ) = 1 − ∑ k = 1 K p k 2 Gini(p)=\sum_{k=1}^{K}p_k(1-p_k)=1-\sum_{k=1}^{K}p_k^2 Gini(p)=∑k=1Kpk(1−pk)=1−∑k=1Kpk2 |
| CART | {回归:平方误差} | 二叉树 | m i n j , s [ m i n c 1 ∑ x i ∈ R 1 ( j , s ) ( y i − c 1 ) 2 + m i n c 2 ∑ x i ∈ R 2 ( j , s ) ( y i − c 2 ) 2 ] min_{j,s}[min_{c_1} \sum_{x_i \in R_1(j,s)}(y_i-c_1)^2 + min_{c_2} \sum_{x_i \in R_2(j,s)}(y_i-c_2)^2] minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2] |
注意:CART回归中的指标为平方误差，不是均方误差MSE。而在sklearn中则是MSE
其中, R 1 ( j , s ) = x ( j ) ≤ s R_1(j,s)={x^{(j)}\leq s} R1(j,s)=x(j)≤s, R 2 ( j , s ) = x ( j ) > s R_2(j,s)={x^{(j)} > s} R2(j,s)=x(j)>s.
I V = H A ( D ) = − ∑ i = 1 n ∣ D i ∣ ∣ D ∣ l o g 2 ∣ D i ∣ ∣ D ∣ IV=H_A(D)=-\sum_{i=1}^{n}\frac{|D_i|}{|D|}log_2\frac{|D_i|}{|D|} IV=HA(D)=−∑i=1n∣D∣∣Di∣log2∣D∣∣Di∣
563
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
