决策树的损失函数是什么?
决策树的损失函数通常是正则化的极大似然函数。
正则化的决策树损失函数:
其中|T|代表叶节点个数,表示具体某个叶节点的样例数,表示叶节点经验熵。
我们知道正则化的损失函数中前一项代表经验误差,而在概率模型中(决策树模型是一种概率模型),经验误差函数的获得往往通过将极大似然函数取反,即将求极大化为求极小而获得。因此,在概率模型中,极大似然函数与经验误差函数可以认为是相同的概念,那么必然就可以通过经验误差函数来推导出极大似然函数,以此来加深对决策树损失函数的理解。
利用损失函数反向推导出极大似然函数
其中表示叶节点中类别为k的样本数。K表示样例类别总数。
至此,损失函数被化简为这样,可以看到它与我们所要求的极大似然函数仅一步之遥:将求极小转为求极大,即去掉上式的负号,我们得到对数极大似然函数:
其对应的极大似然函数是: