机器学习--决策树的损失函数是什么？怎么理解？

决策树的损失函数是什么？

决策树的损失函数通常是正则化的极大似然函数。

正则化的决策树损失函数：

其中|T|代表叶节点个数，表示具体某个叶节点的样例数，表示叶节点经验熵。

我们知道正则化的损失函数中前一项代表经验误差，而在概率模型中(决策树模型是一种概率模型)，经验误差函数的获得往往通过将极大似然函数取反，即将求极大化为求极小而获得。因此，在概率模型中，极大似然函数与经验误差函数可以认为是相同的概念，那么必然就可以通过经验误差函数来推导出极大似然函数，以此来加深对决策树损失函数的理解。

利用损失函数反向推导出极大似然函数

其中表示叶节点中类别为k的样本数。K表示样例类别总数。

至此，损失函数被化简为这样，可以看到它与我们所要求的极大似然函数仅一步之遥：将求极小转为求极大，即去掉上式的负号，我们得到对数极大似然函数：

其对应的极大似然函数是：