二分类logloss不降的原因及分析

最新推荐文章于 2024-04-14 17:14:50 发布
最新推荐文章于 2024-04-14 17:14:50 发布
阅读量8k 收藏 11
点赞数 5
分类专栏： NLP自然语言处理

当二分类loss在0.693并且一直不降的时候，就应该意识到模型出问题了，当然可能是你的模型结构出问题或者设置的参数不合适。三个问题，logloss是可以大于1的吗？它的正常范围应该是多少？一般多小的logloss算是好的分类器？

logloss可以大于1，但是对于二元分类来说，大于1说明这个模型是比较糟糕。

回顾一下loglosslogloss的公式

其中n是测试样本的个数，pi为预测第i个样本为阳性的概率，yi表示第i个预测样本的真实标签（1代表阳性，-1代表阴性）。

我一开始就说了大于1的logloss是很差的。0.8依然很差。我凭什么这么说？

假如我们现在有个训练集，100万个数据点，其中10万个为阳性，那么总体上每个样本为1的概率可近似认为是0.1。通常来说，测试集的分布是非常接近于训练集的，那么测试集中大概有10%的样本为阳性。如果我们预测测试集中每个样本为1的概率都为0.1，那么logloss会是多少呢？

假如总体分布是每个样本以p的概率为阳性，我们预测每个样本为阳性的概率都为p，也就是pi=p，那么logloss是多少呢？

很显然

所以最差的情况就是，样本正好是一半阳性一半阴性，此时你按照上面方面预测（乱猜）出的logloss是0.693。所以当loss是0.693，差不多就说明模型已经混乱了。当然上面的情况是在KL散度等于0的情况下得出的，解释如下：

reference：

http://sofasofa.io/forum_main_post.php?postid=1000508

『NLP学习笔记』多标签分类损失总结
AI新视界
04-09 1392
多标签分类： 就是同一个实例，可以有多个标签，或者被分为多个类。
『NLP学习笔记』Cross Entropy Loss 的硬截断、软化到 Focal Loss
AI新视界
04-12 1721
对于二分类模型，我们总希望模型能够给正样本输出 1，负样本输出 0，但限于模型的拟合能力等问题，一般来说做不到这一点。而事实上在预测中，我们也是认为大于 0.5 的就是正样本了，小于 0.5 的就是负样本。这样就意味着，我们可以 “有选择” 地更新模型，比如，设定一个阈值为 0.6，那么模型对某个正样本的输出大于 0.6，我就不根据这个样本来更新模型了，模型对某个负样本的输出小于 0.4，我也不根据这个样本来更新模型了，只有在 0.4~0.6 之间的，才让模型更新，这时候模型会更 “集中精力” 去关心那些
分类问题时loss只是收敛到0.693附近的直线
HuntZou的博客
03-26 6767
目录问题概述根本原因：交叉熵常见原因之一：Sigmoid出现问题原因及解决方法1 当输入与输出确实不相关时2 当模型初始权重相同且较大，且学习率较小时3 当模型的输入本身就很小，或者模型初始化权重很小时4 特征不明显，导致长时间训练不拟合5 使用sigmoid或tanh这类函数时，或输入特征较大使得收敛更困难 这种情况一般是在使用了交叉熵的二分类问题上容易出现，同样的，也可能出现loss收敛到1.0986、1.386等等，其实他们就是log(1/2)、log(1/3)、log(1/4)。。。 问题概述 根
随笔系列之- log loss
lotuswhl的博客
04-01 5390
log loss 在机器学习构建分类模型的任务中经常使用的损失度量方法; 对数损失的公式为: −∑iN∑jMyijlog(pij)−∑iN∑jMyijlog(pij)-\sum_i^N\sum_j^My_{ij}log(p_{ij}) 其中N对应于我们的样本数或者输入的实例的数量,i对应于某一个样本或者实例;M表示我们的样本可能的分类数量,j表示某一个分类;yijyijy_{ij} 表示对...
网络训练过程中loss不下降，稳定在ln(类别数）
weixin_40522580的博客
09-11 529
神经网络再训练过程中，loss不下降，稳定再ln(类别数），如二分类问题稳定在0.69，十分类问题稳定在2.30，出现这种情况： ①检查卷积层中间层输出，可能出现了weight NaN，导致卷积输出NaN，此时网络预测结果全部相同，所有目标被判为同一类； ②检查网络最后一层是否添加了relu或softmax等激活函数 ③调整参数，如降低学习率，修改optimizer，如从SGD换为Adam ④调整网络权重初始化方式 ⑤在网络中添加BN层 ...
VGG16做二分类时loss维持0.69不降解决办法
最新发布
Manuel667399的博客
04-14 706
在使用VGG16做二分类任务（如猫和狗分类）时，可能会遇到这种情况：损失值loss总是维持在0.69，或者准确率恒等于50%，无论如何调整学习率（尝试过0.001、0.0001和0.00001），loss始终不降。一种简单的解决办法在每个卷积层的后面添加一个BN（Batch Normalization）层。
二分类时AUC和binary_logloss的不一致问题
FFXN的博客
06-22 3150
二分类时AUC和binary_logloss的不一致问题 今天在用LGBM算法对一个二分类的数据进行训练时： lgbm1 = lgbm.LGBMClassifier(num_leaves=10, learning_rate=0.05, n_estimators=2000, ) # n_estimators是循环次数，或者说是树的数目 lgbm1.fit(X_train1, y_train1, eval_set=[(X_test1, y_test1)], eval_metric='auc', early_st
损失函数
weixin_37136725的博客
02-08 2万+
目录：一、0-1损失函数二、平方损失函数（Square Loss）：主要是最小二乘法（OLS）中； 三、绝对值损失函数四、对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 五、指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 六、铰链损失函数（Hinge Loss）：...
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
基于 PyTorch 的Cifar图像分类器原理及实验分析
Dr.sen的博客
07-05 4160
基于 PyTorch 的图像分类器的设计与实现 一、Cifar数据集的定义 Ciafar是一类用于普世物体识别用的数据集，与Mnist数据不同，Mnist数据只有0-9（10种）的手写体，但大体上都是数字而且均为黑白。Cifar里面有60000张彩色图片，由的十种数据为('plane', 'car', 'bird', 'cat','deer', 'dog', 'frog', 'horse', ...
通俗理解LightGBM算法
AI黑板报的专栏
03-01 4276
什么是 LightGBM，如何实现它？ 如何微调参数？
深度学习中常用的损失函数
邦戈邦戈栗子的博客
07-17 1791
1 什么是损失函数 在机器学习中，损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，损失函数越小，一般就代表模型的鲁棒性越好，正是损失函数指导了模型的学习。 机器学习的任务本质上是两大类，分类问题与回归问题，再加上综合了判别模型和生成模型后在各类图像任务中大展拳脚的生成对抗网络，这一次我们就重点讲述这些内容。 2 分类任务损失 2.1、0-1 loss 0-1 loss是最原始的loss，它直接比较输出值与输入值是否相等，对于样本i，它的...
lightgbm使用手册——参数篇
zzpl139的博客
03-14 9841
lgbm参数记录
DeepLearning.AI Coursera公开课笔记（课程四第三周）CNN卷积神经网络
clearhenry的博客
11-17 3521
图1 计算机视觉物体定位参数 在物体定位中，我们将图片左上角标记为(0,0)左标，而4钟物体的类别用4个0或者1的标签表示。物体的中点用bx，by表示。物体的高度和宽度用bh，bw，这样我们就可以用矩形表示物体的位置并标注物体的类别了。 图2 定义目标标签y 1）Pc 判断图片中是否有目标，有为1，无为0 2）bx，by，bh，bw目标的轮廓 3）c1，c2，c3，c4目标的类别0或者1 在计算cost的时候，如果pc（即y1）为0则 cost为 sqrt（yhat-..
LightGBM 重要参数、方法、函数理解及调参思路、网格搜索（附例子）
热门推荐
VariableX的博客
07-10 6万+
文章目录一、LightGBM 原生接口重要参数训练参数预测方法绘制特征重要性分类例子回归例子二、LightGBM 的 sklearn 风格接口LGBMClassifier基本使用例子LGBMRegressor基本使用例子三、LightGBM 调参思路四、参数网格搜索 与 xgboost 类似，LightGBM包含原生接口和 sklearn 风格接口两种，并且二者都实现了分类和回归的功能。如果想了解一些理论性的内容，可以看看之前的文章：LightGBM 相关知识理解 一、LightGBM 原生接口 重要参数
logistic回归算法的损失函数：binary_crossentropy（二元交叉熵）
weixin_30279671的博客
12-02 1407
假设函数： 更为一般的表达式： （1） 似然函数： （2） 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数 （3） 对J(w)求极小值，对求导 （4） 上述中表示第i个样本的第j个属性的...
loss问题——工作中对出现的loss问题描述与解决参考
家有代码初写成 的博客
02-23 8913
问题一：loss跑飞 如下图描述 1、学习率（lr）过大，可以自定义一个学习率的值（较小）开始学习。 参考blog：https://blog.csdn.net/CHNguoshiwushuang/article/details/81784299 也就是说，学习率如果设置过大，会导致其直接跑到另外一边，从而导致loss跑飞。当然真实的loss变化是在一个奇异空间里的，不是图上的那种二...
caffe小问题大烦恼——caffe 训练出现 loss = 1.#QNAN
gaohang_hdu的博客
05-15 1491
配置文件中学习率base_Ir设置过大，适当减小。
二分类 focal loss
12-01
二分类的Focal Loss是一种针对于类别不平衡问题的损失函数，它通过调节正负样本的权重来缓解类别不平衡问题。下面是二分类场景下Focal Loss的原理解释和Pytorch实现的步骤： 1. Focal Loss的原理解释 在二分类场景下，Focal Loss的计算公式如下： $FL(p_t) = -\alpha_t(1-p_t)^\gamma log(p_t)$ 其中，$p_t$表示模型预测样本为正样本的概率，$\alpha_t$表示样本的权重，$\gamma$是一个可调节的超参数，用于调节难易样本的权重。当$\gamma=0$时，Focal Loss退化为交叉熵损失；当$\gamma>0$时，Focal Loss会降低易分类样本的权重，增加难分类样本的权重，从而提高模型对于难分类样本的学习能力。 2. Pytorch实现二分类Focal Loss的步骤 （1）定义Focal Loss类 ```python import torch.nn as nn import torch.nn.functional as F class BinaryFocalLoss(nn.Module): def __init__(self, alpha=0.25, gamma=2): super(BinaryFocalLoss, self).__init__() self.alpha = alpha self.gamma = gamma def forward(self, inputs, targets): BCE_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none') pt = torch.exp(-BCE_loss) FL_loss = self.alpha * (1 - pt) ** self.gamma * BCE_loss return FL_loss.mean() ``` （2）调用Focal Loss类 ```python import torch # 定义模型输出和标签 inputs = torch.randn(3, 1, requires_grad=True) targets = torch.tensor([1, 0, 1]) # 定义Focal Loss riterion = BinaryFocalLoss(alpha=0.25, gamma=2) # 计算损失 loss = criterion(inputs, targets) print(loss) ```
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值