multi-label分类，loss一直增大

最新推荐文章于 2023-04-17 14:29:50 发布
最新推荐文章于 2023-04-17 14:29:50 发布
阅读量797 收藏
点赞数
分类专栏： 深度学习 TensorFlow PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guotong1988/article/details/104504266
版权
TensorFlow 同时被 3 个专栏收录
230 篇文章 11 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
深度学习
212 篇文章 5 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
PyTorch
83 篇文章 2 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
博客探讨了在多标签分类任务中遇到的loss值持续增大的问题，特别是在Pytorch和Tensorflow框架下。文章提到，label以[batch_size, num_class]的形状表示，例如一个样本可能属于10类中的3类。作者指出，当前的处理方式可能不适用于这种情况，需要寻找合适的解决方案。" 137415047,22897708,微信小程序自定义tabBar实战与前端面试技巧,"['微信小程序', '前端开发', '面试准备']
摘要由CSDN通过智能技术生成

label为[batch_size, num_class]
logits为[batch_size, num_class]

每个label为比如[0,0,1,0,0,0,1,0,1,0]，就是10类有3类正确

不能用tf.nn.softmax_cross_entropy_with_logits

Pytorch使用torch.nn.BCEloss
Tensorflow使用tf.losses.sigmoid_cross_entropy

FocusOneThread
关注
专栏目录
订阅专栏
Multi Label Classification with Missing Labels(MLML)的几种loss设计
taoqick的专栏
10-05 642
多标签学习这个方向问题比较多，可以参考和这两篇偏综述性质的解释。
multi label loss function
Do not mess it up
11-19 1753
基本思想还是转化为多个二分类 https://github.com/keras-team/keras/issues/10371 For the multi-label classification, you can try tanh+hinge with {-1, 1} values in labels like (1, -1, -1, 1). Or sigmoid + hamming lo...
asymmetric loss for multi-label classification
liguandong
12-09 2995
[论文笔记] Asymmetric Loss For Multi-Label Classification - 知乎在多标签图像识别问题中，由于标签空间往往很大，再加上正类样本的稀疏性，这使得多标签图像中存在严重的正负样本不均衡。ASL 便是从损失函数的角度出发，尝试解决该问题。在多标签图像识别问题中，我们常用的损失…https://zhuanlan.zhihu.com/p/425770937GitHub - Alibaba-MIIL/ASL: Official Pytorch Implementation
loss函数之MultiLabelSoftMarginLoss
ltochange的博客
06-20 8062
MultiLabelSoftMarginLoss 不知道pytorch为什么起这个名字，看loss计算公式，并没有涉及到margin。 按照我的理解其实就是多标签交叉熵损失函数，验证之后也和BCEWithLogitsLoss的结果输出一致 例子： import torch import torch.nn.functional as F import torch.nn as nn import math def validate_MultiLabelSoftMarginLoss(input, target)
tensorflow笔记（二十五）——MultiLabelHead.loss代码走读
蚂蚁搬家
08-26 486
概述 MuiltLabelHead是tf.estimator.Head的子类，用于多标签问题，默认损失函数为sigmoid_cross_entropy。具体的调用
多标签分类的Focal loss设计
qq_39594939的博客
09-09 4592
多标签分类中存在类别不平衡的问题，想要尝试用focalloss损失函数，但是网上很少有多标签分类的损失函数设计，终于在kaggle上别人做的keras下的focalloss中举例了多标签问题： Focalloss for Keras 代码和例子如下： Focal loss主要思想是这样：在数据集中，很自然的有些样本是很容易分类的，而有些是比较难分类的。在训练过程中，这些容易分类的样本的准确率可以达到99%，而那些难分类的样本的准确率则很差。问题就在于，那些容易分类的样本仍然在贡献着loss，那我们为什么要给
多分类focal loss
00000cj的博客
05-09 1185
Focal Loss的介绍见Focal Loss(RetinaNet)原理与代码解析_00000cj的博客-CSDN博客 from sklearn.preprocessing import LabelBinarizer from math import log import tensorflow as tf import os os.environ['CUDA_VISIBLE_DEVICES'] = str(0) tf.enable_eager_execution() labels = ['0',.
Contrastive Learning-Enhanced Nearest Neighbor Mechanism for Multi-Label Text Classification
weixin_44695049的博客
04-17 396
在MLTC任务中在这篇文章以前大多使用的方法是关注到文本的表示，；要么就是注意到相关；但是这些内容都没有注意到，通过相似实例之间的有可能相似的实例标签可以给本实例的标签提供辅助的标记作用；文中就使用了，最终将周围这些相近的邻居的label信息放到本test sample中，用来辅助当前sample的标签分类任务；但是这种情况可能对于标签预测的时候，，从而影响模型的性能，这里使用的方法是，；这里的模型同时还考虑了对于；模型中使用了对比学习系数β使得模型在学习的时候可以捕捉到更加细粒度的标签关联性信息。
基于keras实现多标签分类（multi-label classification）
Synioe的博客
11-09 6778
首先讨论多标签分类数据集（以及如何快速构建自己的数据集）。 之后简要讨论SmallerVGGNet，我们将实现的Keras神经网络架构，并用于多标签分类。 然后我们将实施SmallerVGGNet并使用我们的多标签分类数据集对其进行训练。 最后，我们将通过在示例图像上测试我们的网络，并讨论何时适合多标签分类，包括需要注意的一些注意事项。 multi-label classificati...
A Shared-Subspace Learning Framework for Multi-Label Classification
03-01
Multi-label problems arise in various domains such as multi-topic document categorization, pro- tein function prediction, and automatic image annotation. One natural way to deal with such problems is to construct a binary classifier for each label, resulting in a set of independent bi- nary classification problems. Since multiple labels share the same input space, and the seman- tics conveyed by different labels are usually correlated, it is essential to exploit the correlation information contained in different labels. In this paper, we consider a general framework for ex- tracting shared structures in multi-label classification. In this framework, a common subspace is assumed to be shared among multiple labels. We show that the optimal solution to the proposed formulation can be obtained by solving a generalized eigenvalue problem, though the problem is nonconvex. For high-dimensional problems, direct computation of the solution is expensive, and we develop an efficient algorithm for this case. One appealing feature of the proposed frame- work is that it includes several well-known algorithms as special cases, thus elucidating their intrinsic relationships. We further show that the proposed framework can be extended to the kernel-induced feature space. We have conducted extensive experiments on multi-topic web page categorization and automatic gene expression pattern image annotation tasks, and results demon- strate the effectiveness of the proposed formulation in comparison with several representative algorithms.
【网课笔记】Fast.ai-2019 || Week3 - Multi-label Classification & Segmentation
三个石头
07-02 817
注： 此博客仅为博主复习之用，省去了大量细节和博主已在其他地方做记录的知识点；有兴趣学习fast.ai课程的同学建议扎实学习Howard的视频以及Forum中的资源！共勉！ 2019/6/28 ...
tensorflow分类的loss函数_分类回归loss函数汇总分析
weixin_39735509的博客
12-21 634
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_14845119/article/details/80787753分类任务loss:二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口：tf.losses.sigmoid_cross_entropy(multi_class_labels,logits,wei...
多标签分类之非对称损失-Asymmetric Loss
年轻即出发，
02-26 1万+
论文：Asymmetric Loss For Multi-Label Classification GitHub：https://github.com/Alibaba-MIIL/ASL https://github.com/Alibaba-MIIL/TResNet 阿里巴巴 论文基于focal loss解决正负样本不平衡问题，提出了focal loss的改进版，一种非对称的loss，即Asymmetric Loss。 主要贡献： 设计了一个新颖的loss，解决了多标签分类任务中，..
利用BCELoss解决Multi-label问题
qq_37053885的博客
10-23 1万+
class torch.nn.BCELoss(weight=None, size_average=True)[source] 计算 target 与 output 之间的二进制交叉熵。 loss(o,t)=−1n∑i(t[i]log(o[i])+(1−t[i])log(1−o[i])) loss(o,t)=-\frac{1}{n}\sum_i(t[i] log(o[i])+(1-t[i]) log...
pytorch中的loss函数（1）：MultiLabelSoftMarginLoss
yuxiafan的博客
03-20 1万+
MultiLabelSoftMarginLoss针对multi-label one-versus-all（多分类，且每个样本只能属于一个类）的情形。 loss的计算公式如下： 其中，x是模型预测的标签，x的shape是（N,C），N表示batch size，C是分类数；y是真实标签，shape也是（N,C），。 的值域是(0,）； 的值域是(1,）； 的值域是(0,1)； 的值域是...
【深度学习】图像多标签分类任务，百度PaddleClas
q742971636的博客
07-06 2274
百度PaddleClas GitHub链接：https://github.com/PaddlePaddle/PaddleClas。 在项目中目录下面是对多标签分类任务的指导，版本迭代找不到的话就搜索multilabel应该就能找到。本文跟着这个指导实战一遍。
keras实践(一): multi-label神经网络
英悟的博客
08-28 1万+
前沿本篇记录一下自己项目中用到的keras相关的部分。由于本项目既有涉及multi-class（多类分类），也有涉及multi-label（多标记分类）的部分，multi-class分类网上已经很多相关的文章了。这里就说一说multi-label的搭建网络的部分。之后如果有时间的时候，再说一说cross validation（交叉验证）和在epoch的callback函数中处理一些多标签度量metr
Torch 的几个损失函数
热门推荐
qq_16305985的专栏
01-19 3万+
初步了解一下，pytorch里面的损失函数及使用方法。如有不对的地方，欢迎指出。谢谢！1.  L1LossInput:    X、Y可以是任意形状的输入，X与Y的 shape相同。Output: 标量用途：计算X与Y的差的绝对值， 1/n * (|Xi -Yi|)2. MSELossInput:  x, y 任意具有相同shape的tensor。Output: 计算均方差3. CrossEntro...
Multi-label focal dice loss
最新发布
11-13
根据提供的引用内容，可以了解到Multi-label focal dice loss是多标签分类问题中的一种损失函数，结合了focal loss和dice loss的特点。下面是Multi-label focal dice loss的实现代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class MultiLabelFocalDiceLoss(nn.Module): def __init__(self, gamma=2, alpha=None, size_average=True): super(MultiLabelFocalDiceLoss, self).__init__() self.gamma = gamma self.alpha = alpha if isinstance(alpha, (float, int)): self.alpha = torch.Tensor([alpha, 1 - alpha]) if isinstance(alpha, list): self.alpha = torch.Tensor(alpha) self.size_average = size_average def forward(self, input, target): if input.dim() > 2: input = input.view(input.size(0), input.size(1), -1) # N,C,H,W => N,C,H*W input = input.transpose(1, 2) # N,C,H*W => N,H*W,C input = input.contiguous().view(-1, input.size(2)) # N,H*W,C => N*H*W,C if target.dim() == 4: target = target.view(target.size(0), target.size(1), -1) # N,C,H,W => N,C,H*W target = target.transpose(1, 2) # N,C,H*W => N,H*W,C target = target.contiguous().view(-1, target.size(2)) # N,H*W,C => N*H*W,C elif target.dim() == 3: target = target.view(-1, 1) else: target = target.view(-1) target = target.float() # focal loss logpt = F.log_softmax(input, dim=1) logpt = logpt.gather(1, target.long().view(-1, 1)) logpt = logpt.view(-1) pt = logpt.exp() if self.alpha is not None: if self.alpha.type() != input.data.type(): self.alpha = self.alpha.type_as(input.data) at = self.alpha.gather(0, target.long().data.view(-1)) logpt = logpt * at loss = -1 * (1 - pt) ** self.gamma * logpt # dice loss smooth = 1 input_soft = F.softmax(input, dim=1) iflat = input_soft.view(-1) tflat = target.view(-1) intersection = (iflat * tflat).sum() A_sum = torch.sum(iflat * iflat) B_sum = torch.sum(tflat * tflat) dice = (2. * intersection + smooth) / (A_sum + B_sum + smooth) loss += (1 - dice) if self.size_average: return loss.mean() else: return loss.sum() ``` 其中，focal loss和dice loss的实现都在forward函数中。在这个函数中，首先将输入和目标数据进行处理，然后计算focal loss和dice loss，并将它们相加作为最终的损失函数。需要注意的是，这里的输入和目标数据都是经过处理的，具体处理方式可以参考代码中的注释。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FocusOneThread

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值