决策树是一种广泛使用的分类和回归任务模型。实际上,它们学习了“if-else”问题的层次结构,从而导致决策。决策树是类似树结构的流程图,其中每个内部节点表示对属性的测试,每个分支表示测试的结果,并且每个叶节点(终端节点)保持类标签。
想象一下,你想要区分以下四种动物: 熊, 鹰, 企鹅和海豚。
目标是找到正确的答案,尽可能少地询问其他问题。
可以先问一下这种动物是否有羽毛,这个问题可以将你可能的动物缩小到只有两只动物。
如果答案是肯定的,你可以提出另一个可以帮助你区分鹰和企鹅的问题。例如,您可以询问动物是否可以飞行。
如果动物没有羽毛,你可能的动物选择是海豚和熊,你需要提出一个问题来区分这两种动物,例如,询问动物是否有鳍。
这一系列问题可以表达出来作为决策树,如下图所示。
![91f25bfb433f2e9820831d92e54ee8ee.png](https://img-blog.csdnimg.cn/img_convert/91f25bfb433f2e9820831d92e54ee8ee.png)
动物树决策树图
属性选择
假设我们的数据集如下。表1是关于购买计算机的客户。