logloss与AUC的区别

AUC与Logloss：评估指标的差异与影响
最新推荐文章于 2022-08-02 21:31:00 发布
原创 最新推荐文章于 2022-08-02 21:31:00 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了AUC和Logloss两种机器学习评估指标的区别。AUC主要关注正样本的排序能力，而Logloss更侧重于预测的准确性。当预测值乘以一个常数时，AUC保持不变，但Logloss会发生变化。理解这些指标对于优化模型性能至关重要。
部署运行你感兴趣的模型镜像

AUC只在乎把正样本排到前面的能力，logloss更加注重评估的准确性，评估的方面不一样。

如果给预测值乘以一个倍数，则AUC不会变，但是logloss会变。

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型，面向强推理、智能体任务以及多样化开发场景

二分类时AUC和binary_logloss的不一致问题
FFXN的博客
06-22 3407
二分类时AUC和binary_logloss的不一致问题 今天在用LGBM算法对一个二分类的数据进行训练时： lgbm1 = lgbm.LGBMClassifier(num_leaves=10, learning_rate=0.05, n_estimators=2000, ) # n_estimators是循环次数，或者说是树的数目 lgbm1.fit(X_train1, y_train1, eval_set=[(X_test1, y_test1)], eval_metric='auc', early_st
auc 和loss_AUC 理解
weixin_39633781的博客
12-20 1048
AUC(Area under curve)是机器学习常用的二分类评测手段，直接含义是ROC曲线下的面积,对于二分类模型，还有很多其他评价指标，比如 logloss，accuracy，precision。如果你经常关注数据挖掘比赛，比如 kaggle，那你会发现 AUC 和 logloss 基本是最常见的模型评价指标。从AUC 判断分类器(预测模型)优劣的标准：AUC = 1，是完美分类器；AUC...
Log Loss和AUC
蝉之洞
08-17 7910
logloss和auc的区别：logloss主要是评估是否准确的，auc是用来评估是把正样本排到前面的能力，评估的方面不一样。 对预测的pctr，乘以一个倍数，auc是不变的，因为相互的排序关系没有变，但是logloss会变。 ...
auc vs logloss
weixin_34023863的博客
12-28 1469
auc 更多的关注的是排序的结果。logloss 则是越小越好。 auc 与 logloss 关系比如 1 1 0 1 预测值 为 0.5 0.5 0.3 0.5 那么 auc 是 1 我们提升预测值到 0.7 0.7 0.4 0.7那么 auc 依然是1 但是 logloss 有了很大的提升。 ...
交叉熵相关知识
GodsLeft的专栏
07-04 517
TensorFlow当中的几种交叉熵 二分类的交叉熵 bce = tf.keras.losses.BinaryCrossentropy(reduction=tf.losses.Reduction.NONE) bce(tf.constant([[1], [0]]), tf.constant([[0.9], [0.5]]) ) # array([0.10536041, 0.69314694]) bce=−1N∑i(yilogpi+(1−yi)log(1−pi)) bce = - \frac{1}{N
随笔系列之- log loss
lotuswhl的博客
04-01 5487
log loss 在机器学习构建分类模型的任务中经常使用的损失度量方法; 对数损失的公式为: −∑iN∑jMyijlog(pij)−∑iN∑jMyijlog(pij)-\sum_i^N\sum_j^My_{ij}log(p_{ij}) 其中N对应于我们的样本数或者输入的实例的数量,i对应于某一个样本或者实例;M表示我们的样本可能的分类数量,j表示某一个分类;yijyijy_{ij} 表示对...
auc 和loss_深入理解AUC
weixin_33605464的博客
01-12 2508
在机器学习的评估指标中，AUC是一个最常见也是最常用的指标之一。AUC本身的定义是基于几何的，但是其意义十分重要，应用十分广泛。本文作者深入理解AUC，并总结于下。AUC是什么在统计和机器学习中，常常用AUC来评估二分类模型的性能。AUC的全称是 area under the curve，即曲线下的面积。通常这里的曲线指的是受试者操作曲线(Receiver operating characteri...
[0] validation_0-logloss:0.70180 [1] validation_0-logloss:0.70666 [2] validation_0-logloss:0.71372 [3] validation_0-logloss:0.72277 [4] validation_0-logloss:0.73172 [5] validation_0-logloss:0.74208 [6] validation_0-logloss:0.75198 [7] validation_0-logloss:0.75888 [8] validation_0-logloss:0.77215 [9] validation_0-logloss:0.77946 [10] validation_0-logloss:0.79158 [11] validation_0-logloss:0.79808 [12] validation_0-logloss:0.80518 [13] validation_0-logloss:0.81578 [14] validation_0-logloss:0.82266 [15] validation_0-logloss:0.83331 [16] validation_0-logloss:0.84248 [17] validation_0-logloss:0.84952 [18] validation_0-logloss:0.86082 [19] validation_0-logloss:0.86910 [20] validation_0-logloss:0.87761 [21] validation_0-logloss:0.88241 [22] validation_0-logloss:0.88975 [23] validation_0-logloss:0.89776 [24] validation_0-logloss:0.90653 [25] validation_0-logloss:0.90639 RFECV 最终选择的特征数量: 4 [0] validation_0-logloss:0.70496 [1] validation_0-logloss:0.70301 [2] validation_0-logloss:0.70210 [3] validation_0-logloss:0.70213 [4] validation_0-logloss:0.70298 [5] validation_0-logloss:0.70457 [6] validation_0-logloss:0.70681 [7] validation_0-logloss:0.70964 [8] validation_0-logloss:0.71451 [9] validation_0-logloss:0.71828 [10] validation_0-logloss:0.72382 [11] validation_0-logloss:0.72761 [12] validation_0-logloss:0.73308 [13] validation_0-logloss:0.73939 [14] validation_0-logloss:0.74075 [15] validation_0-logloss:0.74238 [16] validation_0-logloss:0.74743 [17] validation_0-logloss:0.74855 [18] validation_0-logloss:0.75567 [19] validation_0-logloss:0.75716 [20] validation_0-logloss:0.76286 [21] validation_0-logloss:0.76470 [22] validation_0-logloss:0.77041 [23] validation_0-logloss:0.77762 [24] validation_0-logloss:0.78506 [25] validation_0-logloss:0.78729 [26] validation_0-logloss:0.79494 XGBoost 参数： {'objective': 'binary:logistic', 'base_score': None, 'booster': 'gbtree', 'callbacks': None, 'colsample_bylevel': 1, 'colsample_bynode': None, 'colsample_bytree': 1, 'device': None, 'early_stopping_rounds': 25, 'enable_categorical': False, 'eval_metric': 'logloss', 'feature_types': None, 'gamma': 0, 'grow_policy': None, 'importance_type': None, 'interaction_constraints': None, 'learning_rate': 0.05, 'max_bin': None, 'max_cat_threshold': None, 'max_cat_to_onehot': None, 'max_delta_step': None, 'max_depth': 5, 'max_leaves': None, 'min_child_weight': None, 'missing': nan, 'monotone_constraints': None, 'multi_strategy': None, 'n_estimators': 2000, 'n_jobs': -1, 'num_parallel_tree': None, 'random_state': 42, 'reg_alpha': None, 'reg_lambda': 1, 'sampling_method': None, 'scale_pos_weight': 1.2, 'subsample': 1, 'tree_method': 'auto', 'validate_parameters': None, 'verbosity': None, 'alpha': 0} XGBoost 平均 accuracy: 0.46 XGBoost 平均 precision: 0.46 XGBoost 平均 recall: 1.00 XGBoost 平均 F1 score: 0.63 XGBoost 平均 AUC score: 0.59 综合混淆矩阵： [[ 0 72] [ 0 61]] 测试集 accuracy: 0.45 测试集 precision: 0.45 测试集 recall: 1.00 测试集 F1 score: 0.62 测试集 AUC score: 0.44 测试集混淆矩阵： [[ 0 32] [ 0 26]] Click to add a cell.
最新发布
03-08
这可能与早停机制有关，比如设置了early_stopping_rounds为25，所以可能在某个点停止训练，但实际logloss并没有改善。 接下来看XGBoost的参数，学习率0.05，max_depth=5，n_estimators=2000，scale_pos_weight=1.2...
logloss跟aoc
02-28
Logloss（对数损失）是一种常用的评估指标，用于衡量分类模型的性能。它基于模型的预测概率和真实标签之间的差异来计算...Logloss主要关注模型的预测概率与真实标签之间的差异，而AUC则关注模型对正负样本的排序能力。
机器学习：分类、多分类、回归模型的评估
皮皮blog
09-18 7万+
http://blog.csdn.net/pipisorry/article/details/52574156 衡量分类器的好坏 对于二类分类器/分类算法，评价指标主要有accuracy， [precision，recall，F-score，pr曲线]，ROC-AUC曲线，gini系数。 对于多类分类器/分类算法，评价指标主要有accuracy， [宏平均和微...
AUC的两种计算方式
凝眸伏笔的博客
08-02 3万+
推荐 搜索场景下的auc理解_凝眸伏笔的博客-CSDN博客_搜索auc随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率。TPRate的意义是所有真实类别为1的样本中，预测类别为1的比例。：真正率FPRate的意义是所有真实类别为0的样本中，预测类别为1的比例。：假正率AUC的优势:AUC的计算方法同时考虑了分类器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器作出合理的评价。...
模型评价指标
liulina603的专栏
12-26 4万+
一、分类评价指标 1、对数损失函数(Log-loss)   在分类输出中，若输出不再是0-1，而是实数值，即属于每个类别的概率，那么可以使用Log-loss对分类结果进行评价。这个输出概率表示该记录所属的其对应的类别的置信度。比如如果样本本属于类别0，但是分类器则输出其属于类别1的概率为0.51，那么这种情况认为分类器出错了。该概率接近了分类器的分类的边界概率0.5。Log-loss是一个
零基础入门金融风控-贷款违约预测之TASK1_赛题理解
weixin_46292496的博客
09-15 870
赛题以预测用户贷款是否违约为任务，根据借款人的数据信息预测其违约概率，提交结果为每个测试样本是1的概率。评价方法为AUC评估模型效果（越大越好）。 赛题链接：https://tianchi.aliyun.com/competition/entrance/531830/information 1、数据概况 数据包含47列变量信息，其中15列为匿名变量，总数据量超过120w，为了保证比赛的公平性，将从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、p
LightGBM之metric的选择
weixin_43440760的博客
09-28 1万+
@[TOC]LightGBM之metric的选择 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将
二分类损失函数及AUC指标
myblog
07-27 4517
pytorch实现二分类器 主要问题在于输入输出，以及损失函数设置 from sklearn.metrics import roc_auc_score import torch.nn.functional as F import torch.nn as nn import torch class Net(nn.Module): def __init__(self,in_dim,hidden_dim,out_dim=1): super().__init__() self.fc1 =
auc 和loss_关于模型评估指标，可比性，LOSS，AUC，上下限
weixin_39853968的博客
12-20 2042
模型评估可以从多维度多指标进行评估。这里只谈论指标。我们常用的指标，logloss，mse，auc(GAUC)等等。其他指标包括gini(2*AUC -1)，PRauc，KS(max(TPR−FPR))，acc，precision，F1 score。对于预估分数的指标包括其分布的值，比如CoV(变异系数)，std，avg，等等。还有别的指标，如oe等。首先，需要明确，这些指标有没有可比性，在什么情...
LogLoss的公式演化
Mr0cheng的专栏
01-08 1万+
LogLoss一般应用于logistic regression[logit regression,logit model]，而logistic regression模型的因变量是categorical，比如二分类的0和1。多分类的模型就是mutinomial logistic regression。在logistic regression里面有一个logistic function(注意区分logi
详解sklearn中logloss的计算过程
ybdesire的专栏
06-24 2万+
详解解释logloss的计算过程。解释为什么sklearn算得的logloss与书本公式算得的不一样？
机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱
热门推荐
我和我追逐的梦~~~
10-31 9万+
机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱   本文主要解释一些关于机器学习模型评价的主要概念，与评价中可能会遇到的一些陷阱。如训练集-验证集二划分校验（Hold-out validation）、交叉校验（Cross-validation）、超参数调优(hyperparameter tuning)等。这三个术语都是从不同的层
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值