Resources
-
Pattern Recognition and Machine Learning
<<模式识别与机器学习>>
Christopher Bishop
PRML-PDF
Source Code:
refer Pattern Recognition and Machine Learning Toolbox
Matlab:git clone https://github.com/PRML/PRMLT.git
Python:git clone https://github.com/ctgk/PRML.git
-
Machine Learning and Computational Statistics
David Rosenberg
github.io -
动手学深度学习
动手学深度学习
Others
熵
熵作为混乱程度的度量。纯度。
熵
=
−
∑
i
=
1
n
P
i
l
n
(
P
i
)
熵=- \sum_{i=1}^{n} P_i ln(P_i)
熵=−i=1∑nPiln(Pi)
信息增溢越大越好
信息增溢率(信息增溢除以自身的熵值)
Gini coefficient
G i n i ( P ) = ∑ k = 1 K p k ( 1 − p k ) = 1 − ∑ k = 1 K p k 2 Gini(P)=\sum_{k=1}^{K} p_k (1-p_k)=1-\sum_{k=1}^{K} {p_k}^2 Gini(P)=k=1∑Kpk(1−pk)=1−k=1∑Kpk2
评价函数
C
(
T
)
=
∑
t
∈
l
e
a
f
N
t
H
(
t
)
C(T) = \sum_{t\in leaf} N_t H(t)
C(T)=t∈leaf∑NtH(t)
H(t): 熵或Gini系数
N_t: 当前页子结点所含样本的数量 (权重)
评价函数越小越好
损失函数
决策树
构造树的基本思想:
随着树的深度的增加,节点的熵迅速地降低。熵降低的速度走越快越好,这样有望等到一棵高度最矮的决策数。
如何选根结点:选择信息增溢(信息增溢率)最大的那个