机器学习笔记——西瓜书第四章决策树

信息熵：

自信息：p(x)为取x的概率。

$I(X)=-lo{g}_{b}p(x)$

信息熵（公式1）：自信息的期望，度量随机变量X的不确定性，信息熵越大，越不确定。假设当前样本集合D中第k类样本所占比例为pk，则D的信息熵定义为2

$$\begin{gathered} H(X)=E[I(X)]=-{\sum }_{x}p(x)lo{g}_{b}p(x)---1 \\ Ent(D)=-{\sum }_x^{|y|}{p}_{k}lo{g}_2{p}_k---2 \end{gathered}$$

当X某个取值的概率为1，信息熵最小，因为最确定；当X的各个取值的概率均等时，信息熵最大，因为最不确定。

信息增益：总体的信息熵减去条件熵。在已知属性a的取值后y的不确定性减少的量，也就是纯度的提升。

$Gain(D,a)=Ent(D)-{\sum }_{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$

ID3决策树

以信息增益为准则来选择划分属性的决策树。选择最大的信息增益，不停地迭代。

$a_{\ast }=agrmaxGain(D,a)$

C4.5决策树

信息增益准则对可取值数目较多的属性有所偏好，有时候不具有代表性。C4.5选择使用增益率代替信息增益。先算信息增益，再算增益率。但是增益率可能对可取值数目较少的属性有所偏好

CART决策树

基尼值：从样本集合D中随机抽取两个样本，其类别标记不一致的概率。基尼值越小，碰到异类的概率就越小，纯度就越高。对应前面的信息熵

$Gini(D)=1-\sum {}_{k=1}^{|y|}{p}_k^2$

基尼指数：对应前面的条件熵

$Gin{i}_{i}ndex(D,a)={\sum }_{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$

CART决策树：选择基尼指数最小的属性最为最优划分属性，是二叉树。

$a_{\ast }=agrminGin{i}_{i}ndex(D,a)$

1. 首先对每个属性a的每个可能取值v，划分成a=v，a不等于v两部分的基尼指数
2. 选择基尼指数最小的属性极其对应的取值作为最优化分属性和划分点
3. 重复以上步骤，直到满足条件

关键：如何选择最优划分属性

1. 信息增益
2. 增益率
3. 基尼系数

剪枝处理是对付过拟合的主要手段。主要分为预剪枝，和后剪枝。

连续值处理

缺失值处理

参考：周志华机器学习，datawhale吃瓜教程