wzk1996的博客

原创 关于决策树损失函数来源的理解与推导

在阅读《统计学习方法》5.1.4决策树学习一节过程中，有如下一句话引起博主疑惑：决策树的损失函数通常是正则化的极大似然函数。书上并未给出具体推导，直到5.4决策树的剪枝中，直接给出了正则化的决策树损失函数：。其中|T|代表叶节点个数，表示具体某个叶节点的样例数，表示叶节点经验熵。我们知道正则化的损失函数中前一项代表经验误差，而在概率模型中(决策树模型是一种概率模型)，经验误差函数的获得往往通过...