（《机器学习》完整版系列）第4章 线性模型——4.4 连续变量的决策树（以属性为轴的坐标系）

前一篇博中讨论了个别属性是连续时的处理。
当所有属性都是连续时，则建立以属性为轴的坐标系，样本对应于坐标系中的点，再对点的类别用符号进行标识。

连续变量决策树

属性坐标系

当属性为连续时（或其值是有序时），可以在数轴上反映，当所有属性都是连续时，则建立坐标系，样本对应于坐标系中的点，对点的类别用符号进行标识，如，圆圈、三角形等，特别是对二分类，通常用“$+$”表示正例、“$-$”表示负例。

该坐标系与普通坐标系不同：

普通坐标系中需要一个轴表达因变量，如，$y=x_1+3x_2$，则自变量$x_1,x_2$各一个轴，因变量$y$占一个轴，共三维。

这里的坐标系中样本集$\{((x_1,x_2),y)\}$的两个属性$x_1,x_2$各用一个轴表示，标记$y$不需要轴，用点的标识形状来表达。 我们称该坐标系为属性坐标系，它所形成的空间就是样本空间（多维时是超平面），其中的点对应于样本，在上下文未作特殊说明时，本书中的“坐标系”就是“属性坐标系”。

决策边界线

在连续的样本空间中采用决策树进行二分类，则分类器形成决策边界线（高维时，“线”即为超平面）：

决策树每次对一个属性划分，划分线垂直于该属性的轴，而划分线又被后续的划分线截断，故留下的起作用的划分线为线段，分类器变为一条逐段平行于轴的连续的折线（垂折线），如【西瓜书图4.11】中红线所示。

若每次不是处理一个属性，而是处理多个，则会大大提高效率，方法是对非叶结点用形如${\sum }_{i=1}^d{w}_i{a}_i=t$的线性二分类器（第3章的内容），此时，对$d$个属性$a_i$同时考虑，故称为多变量决策，【西瓜书图4.14】所示，这时上述每段平行于轴的折线变为不平行轴的折线了，称为斜划分。

当坐标系中的样本是曲线可分时，可用两种方式近似：

（1）垂折线：每次对一个连续属性进行处理。

（2）斜折线：每次对一组（多个）连续属性进行处理（多变量决策）。

【西瓜书图4.12】所示样本为二维坐标中的点的情形。 当多维时，虽然不直观，但代数形式一致：

（1）垂折线：每处的划分线为$a_i=t$，划分为：$a_i⩽t$和$a_i>t$。

（2）斜折线：每处的划分线为${\sum }_{i=1}^d{w}_i{a}_i=t$，划分为：${\sum }_{i=1}^d{w}_i{a}_i⩽t$和${\sum }_{i=1}^d{w}_i{a}_i>t$，这是将全体属性视为一组，也可以将属性分为多组，各组依次轮流处理。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：4.3 连续值的处理与缺失值的处理（现实很骨感：属性连续和属性缺失）
下一篇：4.5 决策树算法中涉及的准则（叶子、划分、剪枝）