参考:https://www.jianshu.com/p/fb97b21aeb1d
决策树的学习本质上就是从训练数据集中归纳出一组分类规则,使它与训练数据矛盾较小的同时具有较强的泛华能力。
决策树的损失函数通常是 正则化的极大似然函数,学习的策略是最小化损失函数
由于这个最小化问题是一个NP完全问题,现实中,我们通常采用启发式算法来近似求解这一最优化问题,得到的决策树是次最优的。
该启发式算法可分为三步:
- 特征选择
- 模型生成
- 决策树的剪枝
参考:https://www.jianshu.com/p/fb97b21aeb1d
决策树的学习本质上就是从训练数据集中归纳出一组分类规则,使它与训练数据矛盾较小的同时具有较强的泛华能力。
决策树的损失函数通常是 正则化的极大似然函数,学习的策略是最小化损失函数
由于这个最小化问题是一个NP完全问题,现实中,我们通常采用启发式算法来近似求解这一最优化问题,得到的决策树是次最优的。
该启发式算法可分为三步:
- 特征选择
- 模型生成
- 决策树的剪枝