机器学习算法——决策树——学习总结

决策树是一种基本的分类和回归方法。本次主要学习其中分类方法的应用。

决策树是一种树结构，包含内部结点、叶子结点。可以认为是if-then规则的集合。内部结点表示一个特征或属性，每个内部结点的分支代表其具体的特征值或属性值。叶子结点表示一个具体的类。

熵

在讲解决策树构建之前，先讲一下熵的概念。熵用来描述一个集合的混乱程度（就和我们在化学中提到的一样）。在信息论与概率统计中，熵表示随机变量不确定性的度量。给定一个取有限个值的离散随机变量X，则X的熵为H(X)。
$$\begin{gathered} H(X)=-\sum _{i=1}^n{p}_{i}lo{g}_2{p}_i \\ n表示X有n种取值可能，p_i表示X取第i种值得概率，令0log0=0，log以2为底 \end{gathered}$$
例：
集合X = {a,a,b,b,b}
$p_1=2/5=0.4,p_2=3/5=0.6,H(X)=-0.4lo{g}_{2}0.4-0.6lo{g}_{2}0.6$

在实际应用中，针对某个数据集D，H(D)的中D通常表示D中的分类结果。
熵越大，代表随