决策树DT的损失函数

参考：https://www.jianshu.com/p/fb97b21aeb1d

决策树的学习本质上就是从训练数据集中归纳出一组分类规则，使它与训练数据矛盾较小的同时具有较强的泛华能力。

决策树的损失函数通常是 正则化的极大似然函数，学习的策略是最小化损失函数

由于这个最小化问题是一个NP完全问题，现实中，我们通常采用启发式算法来近似求解这一最优化问题，得到的决策树是次最优的。

该启发式算法可分为三步：

• 特征选择
• 模型生成
• 决策树的剪枝