多变量决策树

简单介绍

本文使用PyTorch进行多变量决策树的实现. 多变量决策树的结构为二叉树，实际上是多个线性模型的组合，原理可见下图：

图4.13表示的是多变量决策树的结构，图4.14表示的是对应的分类边界

代码实现

定义数据集

首先将书中的数据集转换为方便计算机操作的形式，数据集如下图所示：

首先将各离散属性值进行编号:
颜色{青绿=0, 乌黑=1, 浅白=2}, 根蒂{蜷缩=0, 稍蜷=1, 硬挺=2}, 敲声{浊响=0, 沉闷=1, 清脆=2}, 纹理{清晰=0, 稍糊=1, 模糊=2}, 脐部{凹陷=0, 稍凹=1, 平坦=2}, 触感{硬滑=0, 软粘=1}, 结果{坏瓜=0, 好瓜=1}.
属性的排列顺序为图中的从左到右, 对应的代码如下:

import torch

# create training dataset
train_dataset=[[0, 0, 0, 0, 0, 0, 1],[1, 0, 1, 0, 0, 0, 1],
               [1, 0, 0, 0, 0, 0, 1],[0, 0, 1, 0, 0, 0 ,1],
               [2, 0, 0, 0, 0, 0, 1],[0, 1, 0, 0, 1, 1, 1],
               [1, 1, 0, 1, 1, 1, 1],[1, 1, 0, 0, 1, 0, 1],
               [1, 1, 1, 1, 1, 0, 0],[0, 2, 2, 0, 2, 1, 0],
               [2, 2, 2, 2, 2, 0, 0],[2, 0, 0, 2, 2, 1, 0],
               [0, 1, 0, 1, 0, 0, 0],[2, 1, 1, 1, 0, 0, 0],
               [1, 1, 0, 0, 1, 1, 0],[2, 0, 0, 2, 2, 0, 0],
               [0, 0, 1, 1, 1, 0, 0]
]

由于离散属性值无法直接代入线性模型，因此将离散属性one-hot化，并且为了方便后续计算损失值，标记为好瓜时，对应的标签$y=1$, 标记为坏瓜时，对应的标签 y = − 1 y=-1 y=<