机器学习03

西瓜书对应章节：4.1、4.2

算法原理

• 从逻辑角度：决策树就是一堆if else语句组合
• 从几何角度，根据某种准则划分特征空间
• 最终目的：将样本越分越纯

ID3决策树

信息熵

• 自信息的期望;度量随机变量X的不确定性，信息熵越大越不确定

• 计算信息熵时约定：若 $p(x)=0$ ,则$p(x){\log }_{b}p(x)=0$

• 公式：
  $$H(X)=E[I(X)]=-\sum _{x}p(x){\log }_{b}p(x)$$

• 将各样本类别标记为y视作随机变量，各个类别在样本集合D中的占比$p(k)(k=1,2,...,|y|)$视作各个类别取值的概率，则样本集合D（随机变量y）的信息熵（底数b取2）为
  $$Ent(D)=-\sum _{k=1}^{|y|}{p}_k{\log }_2{p}_k$$
  此时的信息熵所代表的“不确定性”可以转换理解为集合内样本的“纯度”

• 条件熵（Y的信息熵关于概率分布X的期望）：在已知X后Y的不确定性$H(Y|X)={\sum }_{x}p(x)H(Y|X=x)$从单个属性（特征）a来看，假设其可能的取值为$a^1,a^2,...,a^v$,$D^v$表示属性a取值为$a^v\in (a^1,a^2,...,a^v)$的样本集合$\frac{|D^v|}{D}Ent(D^v)$

• 信息增益：在已知属性（特征）a的取值后y的不确定性减少的两，也即纯度的提升
  $$Gain(D,a)=Ent(D)-\sum _{v=1}^v\frac{|D^v|}{D}Ent(D^v)$$

• ID3决策树：以信息增益为准则来选择划分属性的决策树
  $$a_{\ast }={\arg }_{a\in A}maxGain(D,a)$$

C4.5决策树

• 信息增益准则可能对于取值数目较多的属性有所偏好（例如编号这个较为极端的例子），为减少这种偏好可能带来的不利影响，C4.5决策树使用“增益率”代替“信息增益”
  $$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$$
  其中$IV(a)=-{\sum }_{v=1}^v\frac{|D^v|}{D}{\log }_2\frac{|D^v|}{D}$称为属性a的固有值，a的取值个数V越大，通常其固有值IV(a)也越大

• 并没有完全使用增益率来代替信息增益，而是采用一种启发式的方法，先选出信息增益高于平均水平的属性，然后再从中选择增益率最高的

CART决策树

• 基尼值：从样本集合D中随机抽取两个样本，其类别标记不一致的概率。因此，基尼值越小，碰到异类的概率越小，纯度越高
  $$Gini(D)=\sum _{k=1}^{|y|}\sum _{k^{\prime }\ne k}p(k)0(k^{\prime })=\sum _{k=1}^{|y|}p(k)(1-p(k))=1-\sum _{k=1}^{|y|}p(k{)}^2$$

• 基尼指数（类比信息熵和条件熵）
  $$Gini\_index(D,a)=\sum _{v=1}^V\frac{D^v}{|D|}Gini(D^v)$$

• CART决策树：选择基尼指数最小的属性作为最优划分属性
  $$a_{\ast }={\arg }_{a\in A}minGin{i}_{i}ndex(D,a)$$

• 实际构造算法时：对属性a的每一个可能取值v，将数据集D划分为a=v和$a\ne v$两部分来计算，即
  $$Gini\_index(D,a)=\frac{D^{a=v}}{|D|}Gini(D^{a=v})+\frac{D^{a\ne v}}{|D|}Gini(D^{a\ne v})$$
  然后选取基尼值属最小的属性及其对应取值作为最优划分属性和最优划分点