构建决策树流程:
1、选择一个特征作为根节点。
熵:
基尼:
n为标签个数,P(i)为某个标签的比例或者概率。
根据基尼或者熵。这两个都是越小越好,计算一个特征所有属性的基尼值,然后进行加权求和,作为这个特征的基尼值,越小代表这个特征越纯,也就是根据这个特征能不能很好的判断出这个样本的标签是什么。
2、子节点的选择,如下面,婚姻状态为单/离异分支的情况,需要在这一分支的数据里面来计算剩余特征的基尼或者熵,选择纯度高的作为分支节点。
序数性特征处理
像年收入这种数值类的特征,有很多属性,可以考虑选择所有样本的年收入的中点,把年收入简单划为两类,变成二元的,分别计算每一类的基尼值。
预测
将新样本的特征输入到决策树中,根据特征的属性走不同的分支,最终到达某个叶子节点(标签),该标签就是预测结果。