决策树是一种树模型,可以看成 一个 if-then 规则的集合,属于生成模型
决策树学习通常包括3个步骤:特征选择,决策树的生成和修剪
决策树学习本质上是从训练数据中归纳出一组分类规则
策略
决策树的选择策略要用到熵
熵 S 最初来源于物理学,其物理意义是体系混乱程度的度量,定义如下:
在信息论和概率统计中,熵表示随机变量不确定性的度量,在这里可以理解为‘纯度’
信息熵可以看成损失函数,特征的选择则是要使模型的信息熵减小(信息增益最大),通过划分使样本集合越来越纯
算法
决策树生成算法介绍以下3种:
- ID3:使用信息增益来选择特征
- C4.5: 使用信息增益比
- CART: 使用基尼指数
剪枝
为了防止过拟合,需要进行剪枝,同时要拿验证集判断是否剪枝
分为预剪枝 和 后剪枝