机器学习之决策树模型

决策树

1.什么是决策树：

一种通过决策条件将数据分为若干类的分类模型

2.关键知识点：

(1) 不确定性：

什么是不确定性？举个例子，明天有90%可能性下雨，那我们出门之前肯定是会拿上雨伞，这就叫对于拿伞的不确定性很低（言外之意就是确定要拿伞）；明天有50%的可能性会下雨，那我们出门之前纠结到底要不要拿伞，这就叫对于拿伞的不确定性很高（言外之意就是纠结到底要不要拿伞）

(2) 好的特征：

决策树中什么是好的特征？就是通过使用该特征分类后，所有的样本都被准确的分为同一类

(3) 信息熵：

公式：
$$\begin{gathered} H=-\sum _i{p}_i\ast \log p_i \\ {p}_i:某一类数值所占比重 \end{gathered}$$
例题：

给定一组数据{0,0,1,1,0,1,1,1}该数组的信息熵:

该数组中一共有8个元素，其中3个0，5个1，定义p_0=3/8，p_1=5/8
$$\begin{gathered} p_0=\frac{3}{8},p1=\frac{5}{8} \\ H=-(p_0\ast \log p_0+p1\ast \log p_1)=-(\frac{3}{8}\ast \log \frac{3}{8}+\frac{5}{8}\ast \log \frac{5}{8}) \end{gathered}$$

备注：信息熵越大，不确定性就越大

(4) 信息增益：

公式：不确定的减少 = 原来的不确定性-分割后的不确定性
$$IG(T,A)=H(T)-H(T|A)$$
备注：在其一状态一致时，增益越大表示H(T|A)越小，即H(T|A)的不确定性就越小，该状态的值就越确定。

3.详细讲解：

(1) 决策树是由节点和边来组成

(2) 一颗决策树与对应的决策边界

(3) 例题：

TIME	MATCH TYPE	court surface	Best Effort	Outcome
Morning	Master	Grass	1	F
Afternoon	Grand slam	Clay	1	F
Night	Friendly	Hard	0	F
Afternoon	Friendly	Mixed	0	N
Afternoon	Master	Clay	1	N
Afternoon	Grand slam	Grass	1	F
Afternoon	Grand slam	Hard	1	F
Afternoon	Grand slam	Hard	1	F
Morning	Master	Grass	1	F
Afternoon	Grand slam	Clay	1	N
Night	Friendly	Hard	0	F
Night	Master	Mixed	1	N
Afternoon	Master	Clay	1	N
Afternoon	Master	Grass	1	F
Afternoon	Grand slam	Hard	1	F
Afternoon	Grand slam	Clay	1	F

通过上述数据，希望通过决策树模型来预测比赛的结果

步骤1:计算每个特征的信息增益：
$$H(F,N)=-\frac{11}{16}\ast \log \frac{11}{16}-\frac{5}{16}\ast \log \frac{5}{16}\text{\hspace{1em}(1)}$$

特征TIME：Morning:2个F；Afternoon:7个F，4个N；Night:2个F，1个N;
$$\begin{gathered} \begin{array}{rl}H(F,N|A)& =\frac{2}{16}H(F,N|Morning)+\frac{11}{16}H(F,N|Afternoon)+\frac{3}{16}H(F,N|Night)\\ & =\frac{2}{16}\ast 0+\frac{11}{16}\ast （-\frac{7}{11}\ast \log \frac{7}{11}-\frac{4}{11}\ast \log \frac{4}{11}）+\frac{3}{16}\ast （-\frac{2}{3}\ast \log \frac{2}{3}-\frac{1}{3}\ast \log \frac{1}{3}）\end{array} \\ \text{\hspace{1em}(2)} \end{gathered}$$

$$\begin{array}{r}(1)-(2)=-\frac{11}{16}\ast \log \frac{11}{16}-\frac{5}{16}\ast \log \frac{5}{16}+\frac{7}{16}\ast \log \frac{7}{11}+\frac{4}{16}\ast \log \frac{4}{11}+\frac{2}{16}\ast \log \frac{2}{3}+\frac{1}{16}\ast \log \frac{1}{3}\\ \therefore 对于特征TIME的信息增益=-\frac{11}{16}\ast \log \frac{11}{16}-\frac{5}{16}\ast \log \frac{5}{16}+\frac{7}{16}\ast \log \frac{7}{11}+\frac{4}{16}\ast \log \frac{4}{11}+\frac{2}{16}\ast \log \frac{2}{3}+\frac{1}{16}\ast \log \frac{1}{3}\end{array}$$

余下的特征也是同样的计算方式，大家可以自己尝试一下

最终我们会得到经过决策树模型分类后的结果

(4) 决策树的过拟合

1）什么时候可以停止分裂：当一个叶节点中包含的所有样本都属于同一个类别的时候可以停止；当一个叶节点中包含的所有样本的特征都一样时可以停止分裂

2）如何避免决策树的过拟合？1）设置树的最大深度；2）当叶子节点中的样本个数少于阈值时停止分裂；3）具体阈值选择多少取决于交叉验证的结果