机器学习算法——概率类模型评估指标2（对数似然函数Log_Loss）

已于 2022-05-09 18:47:14 修改
阅读量3.2k 收藏 8
点赞数
分类专栏： 模型评估 文章标签： 机器学习 算法 深度学习 人工智能 概率论
于 2022-05-03 16:01:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vicky_xiduoduo/article/details/124552623
版权

除了上节的布里尔分数外，另一种常用的概率损失衡量是对数损失（log_loss），又叫做对数似然、逻辑损失或者交叉熵损失，它是多元逻辑回归以及一些拓展算法（比如神经网络）中使用的损失函数。它被定义为，对于一个给定的概率分类器，在预测概率为条件的情况下，真实概率发生的可能性的负对数。由于是损失，因此对数似然函数的取值越小，则证明概率估计越准确，模型越理想。需要注意的是，对数损失只能用于评估分类型模型。

为了计算对数损失，分类器必须提供对输入的所属的每个类别的概率值，不只是最可能的类别。对数损失函数的计算公式如下：

L(Y,P(Y|X)) = - log P(Y|X) = - \frac{1}{N} \sum_{i=1}^{N} \sum_{j=1}^{M} y_{ij} logP_{ij}

其中，Y为输出变量，X为输入变量，N为样本数，M为可能的类别数，yij表示类别j是否是输入实例xi的真实类别，pij为模型或分类器预测输入实例xi属于类别j的概率。

如果只有两类{0，1},则对数损失函数可以简化为

最低0.47元/天 解锁文章
Vicky_xiduoduo
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI基础：机器学习的损失函数
10-11
在人工智能和机器学习领域，损失函数是评估模型预测结果与实际数据间差异的关键工具。损失函数（Loss Function）衡量的是模型预测值f(x)与真实值y的不一致程度，是优化过程中的核心组成部分。我们的目标是通过调整...
机器学习：使用numpy从零开始的机器学习算法
02-15
机器学习：使用numpy从零开始的机器学习算法
损失函数——负对数似然
Pr4da的博客
03-28 1万+
阅读本文可以了解如下内容： 似然 似然估计 对数似然 负对数似然 1. 似然 在开始之前需要区分一个知识：似然(likelihood)和概率(probability)。概率是一个事件发生的可能性，而似然指的是影响概率的未知参数。也就是说，概率是在该未知参数已知的情况下所得到的结果；而似然是该参数未知，我们需要根据观察结果，来估计概率模型的参数。 用数学方法可以描述为： 假设XXX是离散随机变量，其概率质量函数ppp依赖于参数$\theta $，则： L(θ∣x)=pθ(x)=Pθ(X=x)L(\thet
机器学习-07-分类回归和聚类算法评估函数及案例
IT从业者的成长历程
05-06 742
本系列是机器学习课程的系列课程，主要介绍机器学习中分类回归和聚类算法中的评价函数。
【机器学习-20】分类与预测算法评价的方式介绍
热门推荐
qq_38614074的博客
04-19 1万+
在机器学习中，分类算法的性能评价是至关重要的一环。不同的评价指标能够从不同角度反映算法的优劣，从而帮助我们更全面地理解算法的性能特点。以下将详细介绍几种常见的分类算法评价方式。
机器学习中的损失函数（Loss Function）介绍、说明
weixin_44177594的博客
04-08 9342
损失函数损失函数介绍常见的损失函数1.对数损失函数（Logloss）2. hinge loss 合页损失函数3. exp-loss 指数损失函数4. cross-entropy loss 交叉熵损失函数5. quadratic loss 平方误差损失函数6. absolution loss (绝对值损失函数)7. 0-1 loss (0-1损失函数) 损失函数介绍 解决一个机器学习问题主要有两部分：数据和算法。 算法又有三个部分组成：假设函数、损失函数、算法优化。 损失函数： 用于计算损失的函数。在机器
机器学习模型评估指标和调用方法
L1142456160的博客
06-03 1074
回归模型的评估指标有平均绝对值误差、均方误差、均方根误差、R平方值、Huber损失、Log-Cosh损失函数。也称L1损失（MAE）是预测值与真实值之差的绝对值，计算公式如下： MAE=1n∑i=1n∣fi−yi∣=1n∑i=1nei MAE = \frac{1}{n}\sum_{i=1}^n{|f_i-y_i|}=\frac{1}{n}\sum_{i=1}^n{e_i} MAE=n1​i=1∑n​∣fi​−yi​∣=n1​i=1∑n​ei​以下是sklearn中调用MAE的示例代码： 均方误差 也称L2损
机器学习中的评估指标与损失函数
Miracle8070
03-29 3629
1. 写在前面 在准备找工作面试时， 发现机器学习中的评估指标和损失函数是一个经常要问题的话题， 对于一个算法工程师，衡量模型的好坏以及怎么根据出现的问题进行调整是必备的技能，损失函数代表着模型的优化方向， 而评估函数评估模型的表现性能， 这俩还是不太一样的。 之前也写过一些文章，对这些东西进行过整理， 但是发现依然有一些不知道的点，所以这里再转发一篇文章， 因为在里面发现了一些自己之前不知道的内容， 感觉整理的挺好的， 正好和我之前的互补下。文章来自这里https://blog.csdn.net/Yasi
机器学习__Logistic回归的正则化.pptx
01-14
通过对数似然函数的负对数转换，我们可以得到一个凸的代价函数，即对数似然损失（log-likelihood loss），这样就更容易找到全局最小值。 正则化是通过在代价函数中添加惩罚项来控制模型参数的大小。在逻辑斯特回归...
机器学习常见算法在建模中的对比.pdf
09-24
摘要：本文介绍了判别模型中的机器学习算法如线性回归（Linear Regression），逻辑斯谛回归（Logistic Regression, LR）和支持向量机（Support Vector Machine, SVM）等，并说明了算法的基本原理。以预测房价为例，...
机器学习常用指标ppt
07-16
在机器学习领域，评估模型性能是非常关键的一环。本文将深入探讨一些常见的机器学习指标，这些指标用于衡量模型在回归和分类任务中的表现。 首先，我们来看一下损失函数(loss function)。损失函数是评估模型预测...
吴恩达老师《机器学习》课后习题2之逻辑回归(logistic-regression)
06-14
通过最大化所有样本的对数似然函数，我们可以得到模型参数的估计值，这通常通过梯度上升或梯度下降等优化算法实现。 3. **损失函数**：在二分类问题中，常用的损失函数是交叉熵损失（Cross-Entropy Loss）。对于每...
机器学习——对数几率回归模型及python代码实现
LCW
02-25 5792
《机器学习：公式推导与代码实践》鲁伟著读书笔记。上一章介绍了线性回归的数学推导过程以及python实现，可以知道线性回归模型就是对数据进行线性拟合或者说是回归，然后采用训练好的模型对未来数据进行预测。那能否运用线性模型对一些数据进行分类呢，这就需要运用对数几率回归模型（logistics regression，LR）这种线性分类模型。 对数几率回归的数学原理 在对数几率回归中，我们需要将线性回归模型的预测值转化为0/1值，而不是去逼近真实标签yyy。而取值范围为（0，1），单调可微的Sigmoid函数便是对
二十七、【人工智能】【机器学习】- 【数学基础】 之数学要素
技术分享、程序员趣事、行业趋势等内容！
08-01 765
正是在这样的背景下，虚数应运而生，其中 i 这个特殊的数，它的平方等于 −1，为我们打开了通往复数世界的大门。在接下来的内容里，我们将深入探讨复数的奇妙之处，包括它们的表示、运算以及与之相关的各种数学概念，如集合、向量、矩阵等。复数，用数学语言表示为 CC，是数学理论中不可或缺的一部分，它的存在不仅丰富了数学的结构，更在物理学、工程学以及计算机科学等领域发挥着至关重要的作用。标量乘法运算中，标量乘向量结果还是向量，标量乘法运算规则很简单，向量 a 乘以 k，a 的每一个元素均与 k 相乘。
使用生成式对抗网络（GAN）生成动漫人物图像
brucexia的专栏
08-02 868
G就是一个生成图片的网络，它接收一个随机的噪声z，然后通过这个噪声生成图片，生成的数据记作G(z)。它的输入参数是x，x代表一幅图片，输出D(x)代表x为真实图片的概率，如果为1，就代表是真实的图片，而输出为0，就代表不可能是真实的图片。步骤1：首先固定生成器，训练判别器，提高真实样本被判别为真的概率，同时降低生成器生成的假图像被判别为真的概率，目标是判别器能准确进行分类。步骤2：固定判别器，训练生成器，生成器生成图像，尽可能提高该图像被判别器判别为真的概率，目标是生成器的结果能够骗过判别器。
机器学习用python还是R，哪个更好？
最新发布
嫦娥妹妹等等我的博客
08-05 295
选择 Python 还是 R 作为机器学习的主要编程语言，主要取决于具体需求、个人背景和项目环境。
从文本到图像：深度解析向量嵌入在机器学习中的应用
uncle_ll的博客
08-02 1179
向量嵌入介绍
基于机器学习和深度学习的时间序列分析和预测（Python）
weixin_39402231的博客
08-05 177
传统的时间序列预测方法大多是通过分析时间序列数据符合什么样的分布，或者说什么样的模型对此类数据拟合效果好等先验知识来建立数学模型，后进行参数求解来解决问题，然而随着近些年时间序列数据越来越呈现出大规模、复杂度高等特点，利用传统方法来对时序数据进行分析建模越来越难以达到一个让人理想的效果。
机器学习算法模型评价指标综述
11-10
机器学习算法模型评价指标是评估模型性能的重要指标，常用的评价指标包括准确率、精确率、召回率、F1值、ROC曲线和PR曲线等。其中，准确率是指模型正确预测的样本数占总样本数的比例；精确率是指模型预测为正例的样本中实际为正例的比例；召回率是指实际为正例的样本中被模型预测为正例的比例；F1值是精确率和召回率的调和平均数，综合了两者的性能；ROC曲线是以假正率为横轴，真正率为纵轴的曲线，用于评估二分类模型的性能；PR曲线是以召回率为横轴，精确率为纵轴的曲线，用于评估正例样本较少的情况下的模型性能。 除了上述指标外，还有一些其他的评价指标，例如AUC、平均精度均值（AP）、对数损失（Log Loss）等。这些指标的选择应该根据具体的问题和数据集来确定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值