本文探讨了决策树学习中的损失函数，源于正则化的极大似然函数。通过反向推导，解释了叶节点实例数与经验熵乘积之和的含义，将其与极大似然函数联系起来，帮助读者深入理解决策树模型的损失函数。
在阅读《统计学习方法》5.1.4决策树学习一节过程中，有如下一句话引起博主疑惑：决策树的损失函数通常是正则化的极大似然函数。书上并未给出具体推导，直到5.4决策树的剪枝中，直接给出了正则化的决策树损失函数：
。其中|T|代表叶节点个数，
表示具体某个叶节点的样例数，
表示叶节点经验熵。
我们知道正则化的损失函数中前一项代表经验误差，而在概率模型中(决策树模型是一种概率模型)，经验误差函数的获得往往通过将极大似然函数取反，即将求极大化为求极小而获得。因此，在概率模型中，极大似然函数与经验误差函数可以认为是相同的概念，那么必然就可以通过经验误差函数来推导出极大似然函数，以此来加深对决策树损失函数的理解。
我相信有相当一部分读者与博主一样，并不理解决策树损失函数的真正意义，表面上来看：将每个叶节点的实例个数与其经验熵的乘积相加，这究竟代表个什么玩意呢？现在，我将利用该损失函数反向推导出极大似然函数，当我们看到极大似然函数时&#
最低0.47元/天 解锁文章
扫一扫
1625
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
