西瓜书第四章

学习目标：

看西瓜书+南瓜书第四章

---

学习内容：

1、剪枝处理
2、ID3决策树

---

学习时间：

周三上午
周四晚上

---

学习产出：

ID3决策树是以信息增益为准则来选择划分属性的决策树
信息增益：在已知属性（特征a）的取值后y的不确定性减少的量，也即纯度的提升。因为熵等于零是理想状态，一般实际情况下，熵介于0和1之间 。
熵的不断最小化，实际上就是提高分类正确率的过程。

剪枝处理

预剪枝：在判断的过程中修剪掉一些非叶节点，防止过拟合，提高泛化能力。
后剪枝：在生成决策树之后，再对叶节点进行修剪。判断修剪能够让精度提高，在进行剪枝。