决策树

源自西瓜书

基本流程

训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}
属性集 A = { a 1 , a 2 , . . . , a d } A=\{a_1,a_2,...,a_d\} A={a1​,a2​,...,ad​}
过程：
生成结点$node$;
$ifD$中样本全部属于类别$Cthen$
将$node$标记为$C$类叶结点；$return$
$endif$
$ifA=\varnothing orD$中样本在$A$上取值相同 $then$
将$node$标记为叶结点，其类别标记为$D$中样本数最多的类。$return$
$endif$
从$A$中选择最优划分属性$a_{\ast }$；
$for{a}_{\ast }$的每一个值：
\quad 为$node$生成一个分支，$D_v$表示$D$在$a_{\ast }$上取值为$a_{\ast }^v$的样本子集；
$if{D}_v$为空$then$
\quad\quad 将分支结点标记为叶结点，其类别为$D$中样本最多的类；$return$
$else$
\quad\quad 以 T r e e ( D v , A − { a ∗ } ) Tree(D_v,A-\{a_*\}) Tree(Dv​,A−{a∗​})为分支结点。
$endif$
$endfor$

注意

决策树的生成是一个递归过程，三种情况会导致递归返回：
$1$ 当前结点包含的样本属于同一类别
$2$ 当前结点的属性集为空，或者所有样本在所有属性取值相同，无法划分。
$3$ 当前节点包含的样本集合为空

$2$和$3$都是把当前$D$中最多的类别作为当前结点的决策，但$2$做的是已知样本特征(结果)，求引起特征的类别(原因)，即后验分布，$3$即是通过父节点的样本分布，作为其先验分布，对未知进行预测。

划分选择

关键在于如何找出最优划分属性
随着划分的不断进行，我们希望决策树的分支结点包含的样本尽可能属于同一类别，即结点的纯度越来越高。

信息增益

是度量样本集合纯度最常用的一种指标。
$Ent(D)=-\sum p_{k}lo{g}_2{p}_k$，$p_k$为样本集合$D$中第$k$类样本所占的比例。
$Ent$越小，样本纯度越高。

对于每个类别，我们设置权重，因为样本数越多显然影响越大。
最终用属性$a$划分的信息增益
$Gain(D,a)=Ent(D)-\sum \frac{|D_v|}{|D|}Ent(D_v)$
$a_{\ast }=\underset{a\in A}{\mathrm{argmax}}Gain(D,a)$

$ID3$就是使用了这样的方法。
缺点是什么呢，可能会对取值数目较多的属性有偏好，产生不利影响。

信息增益率

$C4.5$算法不直接使用信息增益，而是使用增益率。
$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$
$IV(a)=-\sum \frac{|D_v|}{|D|}lo{g}_2\frac{|D_v|}{D}$，其表示属性取值越多，其值越大。
显然增益率对属性取值较少的有偏好，所以$C4.5$用了一个启发式算法：
先从候选划分属性中找出信息增益高于平均水平的属性，再从中选取增益率最高的。

接下来以后再学$qwq$

实例

分类