机器学习：如何处理决策树中的连续值

前言

首先关于什么是决策树，以及决策树的基本处理过程，如果有不熟悉的朋友，可以关注我之前的博客内容：
这是我见过讲解最详细最通俗易懂的决策树（一）
这是我见过讲解最详细最通俗易懂的决策树（二）
以上两篇博客涉及到了决策树的生成过程，讲解了包括信息熵、信息增益、剪枝等概念。但是没有涉及到连续值的处理办法。

连续值问题

那么什么是连续值问题呢？这里我们引用周志华的机器学习里面的相关概念：
给定样本集$D$和连续属性$a$，假定$a$在$D$上出现了$n$个不同的取值，将这些值从小到大进行排序，记为{$a^1$,$a^2$,…$a^n$}.基于划分点t可以将D分为子集$D_t^{-}$和$D_t^{+}$，其中$D_t^{-}$包含那些在属性$a$上取值不大于$t$的样本，而$D_t^{-}$则包含那些在属性a上取值大于t的样本。显然，对相邻属性取值$a^i$与$a^{i+1}$来说，t在区间【$a^i$，$a^{i+1}$】中取任意值所产生的划分结果相同，因此对于连续属性$a$，我们可以考察包含$n-1$个元素的候选划分集合:
$T_a=\frac{a^i+a^{i+1}}{2}|1\le i\le n-1$
把区间【$a^i$,$a^{i+1}$)的中位点$\frac{a^i+a^{i+1}}{2}$作为候选划分点。然后我们可以像离散属性值一样考虑这些划分点，选取最优的划分点进行样本集合的划分。
划分公式如下：
$Gain(D,a)=\underset{\lambda ϵT_a}{\max }Gain(D,a,t)=\underset{\lambda ϵT_a}{\max }Ent(D)-{\sum }_{\lambda ϵ(-,+)}\frac{|D_t^{\lambda }|}{|D|}Ent(D_t^{\lambda })$
其中，$Gain(D,a,t)$是样本集$D$基于划分$t$二分后的信息增益。于是，我们就可以选择$Gain(D,a,t)$最大化的划分点。

上面这个公式什么意思？和离散化的划分有什么区别？如何使用？我们看这个例子：

我们以密度这个属性为例。我们比较区别，我们会发现，密度包含17个不同的取值。（色泽、纹理、敲声这些传统的属性均只包含了3个取值）
现在我们捋一遍我们要做的事情及流程：
我们需要计算每个属性的信息增益，关于色泽、根蒂、敲声、纹理、脐部和触感我们在前面的博客已经详细说明了计算过程，现在我们要计算密度的信息增益。做法如下：
1，确定密度这个属性包含的可取值：$T_{密度}$=$0.244,0.294,0.351,0.381,0.420,0.459,0.518,0.574,0.600,0.621,0.636,0.648,0.661,0.681,0.708,0.746$这16个可取值就是把表格中的密度从小到大排序后，相邻两个数字的平均值。
2，计算根节点的信息熵：
$Ent(D)=-{\sum }_{k=1}^2{p}_{k}lo{g}_2{p}_k=-(\frac{8}{17}lo{g}_2\frac{8}{17}+\frac{9}{17}lo{g}_2\frac{9}{17})=0.998$
3，从$t=0.244$开始，计算这16个可取值的信息熵：

$Ent(D_t^{-})=-(0\ast lo{g}_2\ast 0+1\ast lo{g}_2\ast 1)=0$
$Ent(D_t^{+})=-(\frac{8}{16}\ast lo{g}_2\ast \frac{8}{16}+\frac{8}{16}\ast lo{g}_2\ast \frac{8}{16})=1$
$Gain(D,a,t)=Gain(D,\rho ,0.244)=0.998-(\frac{1}{17}\ast 0+\frac{16}{17}\ast 1)=0.057$

4，该属性的信息增益点：
通过同样的方法对其他15个值进行计算，我们可以得出，当$t=0.381$时，信息增益最大为$0.263$.
同理，对于含糖率，当t=0.126时，信息增益为：0.349.

**注意点：**有一点需要注意的是：与离散属性不同，若当前结点划分属性为连续属性，该属性还可作为其后代结点的划分属性。**如下图所示的一颗决策树，“含糖率”这个属性在根节点用了一次，后代结点也用了一次，只是两次划分点取值不同。