机器学习（周志华）学习笔记四：第四章习题4.3

前文

学习笔记三

一、决策树模型

通常，人在判断事物的时候，有一个决策流程。决策树模型正是模拟了这样的机制。在由N个属性描述的N维空间中，决策树中的每一个结点都相当于该N维空间中的一个超平面。决策树的枝干结构则体现了N维空间中这些超平面的交并关系。

由于自己编写的程序由8个维度的属性描述，应该是无法用坐标图来描述的。所以这里借用书上的例子介绍。
图示决策树存在四个结点，也就存在四个超平面，在二维坐标中退化为线，它们分别是y=0.126,y=0.205,x=0.381,x=0.560。而各结点间的连接关系则表明了这四个超平面所划分区域的交并关系。例如，好瓜的范围应是
y<=0.126∪(x>0.381∩(y>0.205∪(y<=0.205∩x<=0.560)))

二、关于决策树另外的理解

上述按照属性划分生成决策树时，划分的超平面只能和坐标平面平行。如果决策树中的每个结点都是一个线性分类器，则能在N维空间中画出“斜的”超平面。
在理解决策树模型时，我脑海中存在下面这样一个过程。在根节点处，划分处一个超平面。然后类别划分的原点可以变换到第一个超平面上的任意一个点，从而生成枝结点。之后在枝结点划分的超平面上重新选择划分基准点，从而生成枝结点的子结点……往复此循环，就能生成一棵决策树。

三、随便写点

虽然学习笔记只写了四篇，但是这本书基本上看完了。其实发现机器学习中的很多思想在“通信原理”里面有所体现。

四、部分代码

"""生成决策树,dv_samples表示结点下样例标号，attrs表示结点下未分类属性的标号"""
        ent_d, positive_count, counterexample_count = self.get_ent(dv_samples)
        d_counts = positive_count + counterexample_count
        node = self.node_generate(father_node)

        # 判断是否全为好瓜或全为坏瓜
        if positive_count == 0 or counterexample_count == 0:
            node['node'] = 'leaf'
            if positive_count >= counterexample_count:
                node['attr'] = '好瓜'
            else:
                node['attr'