除了上节的布里尔分数外,另一种常用的概率损失衡量是对数损失(log_loss),又叫做对数似然、逻辑损失或者交叉熵损失,它是多元逻辑回归以及一些拓展算法(比如神经网络)中使用的损失函数。它被定义为,对于一个给定的概率分类器,在预测概率为条件的情况下,真实概率发生的可能性的负对数。由于是损失,因此对数似然函数的取值越小,则证明概率估计越准确,模型越理想。需要注意的是,对数损失只能用于评估分类型模型。
为了计算对数损失,分类器必须提供对输入的所属的每个类别的概率值,不只是最可能的类别。对数损失函数的计算公式如下:
其中,Y为输出变量,X为输入变量,N为样本数,M为可能的类别数,yij表示类别j是否是输入实例xi的真实类别,pij为模型或分类器预测输入实例xi属于类别j的概率。
如果只有两类{0,1},则对数损失函数可以简化为