决策树的损失函数是什么？怎么理解？

在学习决策树的过程中,会存在损失函数。损失函数是什么呢?如何理解?

一.决策树的损失函数

为了避免出现过拟合的现象，我们要对决策树进行剪枝。
决策树的剪枝类似一种参数正则化的过程，其选择正则化的参数是树的叶子节点的个数。

设决策树 T 的叶子节点个数为 |T|，t 是树 T 的叶子节点，该叶节点有 N_t 个样本点，其中 k 类的样本点有 N_tk 个，H_t(T) 为叶节点 t 上的经验熵，α⩾0 为正则化系数，则包含剪枝的决策树的损失函数可以定义为：

其中，经验熵为：

右边第一项表示误差大小，第二项表示模型的复杂度，也就是用叶节点表示，防止过拟化。
损失函数中的第一项表示模型对训练数据的预测误差，也就是模型的拟合程度，第二项表示模型的复杂程度，通过参数 α 控制二者的影响力。一旦 α 确定，那么我们只要选择损失函数最小的模型即可。

二.如何理解

损失函数第一项为什么要乘以N_t呢？

1. 理解1

• 首先问一个问题，H_t(T)代表的是什么？