吃瓜教程——讲一下决策树原理

基本流程

我们想要调到一个好瓜，但是看看瓜皮绿不绿，拍一下响不响，所以就是从一系列子决策来判断

这里提出一些问题？

先决策谁好捏？如何就通过拍一拍西瓜，就知道好坏，就不用再进行其他决策了，那对于一千个瓜来说，效率可就大大提升了

退而求之，我就通过比较重要的几个决策判断是不是好瓜，这样也提升效率了

拍一拍看起来熟的瓜真的熟吗？看起来不熟的瓜真的不熟吗？

划分选择

如果我决策一次就知道瓜好坏了，是不是效果就很好——调整决策的顺序，提升决策的“纯度”

信息增益

这里定义一个信息熵：

Ent的最小值是0纯度最高，当我们把每个决策条件的Ent都算出来之后，看看怎么调整会把信息增益变得最大，也就是对于节点影响越大。（大的当然放前面，小的放后面）

所以，我们把大家的信息增益算出来了：

增益大的在前面，小的在后面

增益率

增益率就是拿增益来算，来选择最优划分属性

剪枝处理

剪枝是用来对付过拟合的主要手段，因为决策太多的话，会把样本训练得太好，所以就没有变化，这里采用剪枝来减少过拟合风险，同时给出剪哪些枝好。

方法分为预剪枝和后剪枝，一个是生成的时候估计剪去谁，另外一个是训练完之后再剪

预剪枝

后剪枝

区别，一个从上往下剪，一个从下往上剪，然后分别判断能不能剪

多变量决策树

在此类决策树中，非叶结点不再是仅对某个属性,而是对属性的线性组合进行测试