[每日一氵] BERT下游二分类任务精确率P约为0.5，召回率R约为1的问题

最新推荐文章于 2024-04-15 21:01:38 发布
最新推荐文章于 2024-04-15 21:01:38 发布
阅读量1k 收藏 1
点赞数
分类专栏： 每日一氵 文章标签： 分类 bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HaoZiHuang/article/details/122056376
版权

在这里插入图片描述
怎么能把上边儿这个玩意儿关了啊???
这样行不？？
在这里插入图片描述
好吧不行

昨天训练BERT玩儿，跑了一下test，结果精确率约为0.5，召回率约为1，？？？？？？
在这里插入图片描述

这BERT这么吊的吗？？？ 召回率率基本上为1???

后来想了一下，大概就是把所有的样本预测为正类了，而TEST集中正负样本为1:1，所以召回率为1，准确率为0.5

诶，这不是训练过的样本吗？？怎么会全预测为1呢？

哦，原来是我训练完了，忘了把模型从服务器上down下来了…
hai
在这里插入图片描述在这里插入图片描述
这样就正常多了

在此感谢另一位队友，感谢老铁的帮助！！！

氵文大师
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
使用Bert等各种预训练模型处理下游中文任务.zip
01-07
基于bert的句子对的中文分类 基于bert进行中文ner
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。
05-25
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。 本项目采用Keras和Keras-bert实现文本多标签分类任务。 数据集 2020语言与智能技术竞赛：事件抽取任务 本项目以 2020语言与智能技术竞赛：事件抽取任务 中的数据作为多分类标签的样例数据，借助多标签分类模型来解决。
机器学习之分类模型评估指标
最新发布
2301_79617030的博客
04-15 783
在该矩阵中，矩阵中的行代表样例的真实类别，矩阵中的列代表预测器预测的类别(行和列所代表的可以互相交换)。由图1可见，当召回率接近于0时，模型A的精确率为0.9，模型B的精确率是1， 这说明模型B得分前几位的样本全部是真正的正样本，而模型A即使得分最高的几个样本也存在预测错误的情况。这充分说明，只用某个点对应的精确率和召回率是不能全面地衡量模型的性能，只有通过P-R曲线的。图1是P-R曲线样例图，其中实线代表模型A的P-R曲线，虚线代表模型B的P-R曲线。P-R曲线的横轴是召回率，纵轴是精确率。
基于Bert的情感多分类任务(超高精度)
04-19
运行记录： 训练集每类9k数据集，训练集一般为每类1k； 1.利用英文数据集进行二分类，因为数据可能过于中和，运行正确率在85%左右，其中测试集没有label输出自己评价可以发现测试集正确率和验证集类似，大约85%，epoch为2 2.利用上述影评二分类，label 0 1 对应1 5星影评，正确率在99%+ 3.利用上述影评三分类，label 0 1 2对应1 3 5星影评，正确率在99%左右 4.利用上述影评四分类，label 0 1 2 3对应1 3 4 5星影评，小数据训练，135星各9k训练集，4星10个训练集，输出相同大小，准确率78%左右，也就是说基本预测错误，说明不可以进行小规模训练。 5.利用上述影评五分类，label 0 1 2 3 4对应1 2 3 4 5星影评，正确率97%+
颜色分类leetcode-comparatively-finetuning-bert:在PyTorch中具有不同架构配置的下游文本分类任务上相
07-06
颜色分类leetcode BERT 相对微调 介绍 最先进的预训练语言模型 BERT（Bidirectional Encoder Representations from Transformers）在许多自然语言理解任务中取得了显著成果。 总的来说，转换器架构（BERT、XLNet 等）在行业范围内的采用标志着在序列到序列任务（例如机器翻译）中与传统编码器-解码器架构的急剧偏离。 在此之后，许多方面越来越多地利用这些语言表示模型的预训练权重，并对其进行微调以适应他们试图解决的任何与文本相关的任务。 根据上述观察，该存储库建立在诸如如何微调 BERT 以进行文本分类？ 由 Chi Sun 等人撰写。 和调谐或不调谐？ 两全其美怎么样？ 由 Ran Wang 等人撰写，特别关注将 BERT 模型的网络深度最小化到文本分类任务的准确性仍然相当高的程度，但模型大小并不像宣传的那样灾难性，完整的 12-层架构。 我们希望这项工作可以帮助其他人减少他们的训练时间，让他们的模型适合适度的 GPU 和存储资源，并帮助他们进一步试验 BERT。 一个关键的想法是意识到有时我们不需要最先进模型的完整架构，
人工智能-项目实践-意图识别-使用bert做领域分类、意图识别和槽位填充任务.zip
12-14
人工智能-项目实践-意图识别-使用bert做领域分类、意图识别和槽位填充任务 使用bert做领域分类、意图识别和槽位填充任务
为什么神经网络模型在测试集上的准确率高于训练集上的准确率？
种花家的奋斗兔的博客
03-21 1万+
类似下图： 或者下图： 来自：吴恩达机器学习Regularization部分。 如上图所示，有时候我们做训练的时候，会得到测试集的准确率或者验证集的准确率高于训练集的准确率，这是什么原因造成的呢？经过查阅资料，有以下几点原因，仅作参考，不对的地方，请大家指正。 （1）数据集太小的话，如果数据集切分的不均匀，或者说训练集和测试集的分布不均匀，如果模型能够正确捕捉到数据内部的分布模式话...
在二分类问题中，准确率一直处于50%上下的解决方法
weixin_30819163的博客
09-11 1万+
最近在 猫狗识别 项目中，不知为何准确率（训练集准确率和验证集准确率）一直处于0.5左右，这说明网络根本没有学习。后来查阅了许多他人的经验，并做了总结。 首先谈谈我的是如何解决的： 网络结构：AlexNet 优化器：Adam （这里正是问题所在） 框架：PyTorch 关于优化器，我最开始使用的的是 torch.optim.Adam()，但是训练100个Epoch后，准确率始终在...
二分类问题,损失函数值一直为0.693,准确率一直为0.5附近的解决办法
weixin_43327191的博客
11-30 3798
对于二分类问题，损失函数一般用的是binary_crossentropy，要注意loss=0.693...是一个特殊值，因为二分类问题随便猜测的概率就为0.5,用交叉熵进行计算:loss=-ln(0.5) 解决的办法: 在每个卷积层与激活函数层之间都加了一个BatchNorm2d 将数据归一化后，网络可以迅速收敛 ...
求大佬帮忙，神经网络loss不变0.06931，准确率二分类为0.5
qq_30440691的博客
03-13 1577
import torch import torch.nn as nn import torch.nn.functional as F import pandas as pd import numpy as np import torch.utils.data as data import torch.autograd as autograd from MyHAN.utils import matrix_mul, element_wise_mul import sklearn.metrics as metr.
Bert踩坑总结—————分类准确率过低
热门推荐
weixin_38527856的博客
09-17 1万+
使用bert进行文本分类，主要踩的坑有： 数据格式，看自己写的类中如何提取标签和文本 fine-tuning的配置，除了指定文件路径外，可以调整学习率为万分之一到十万分之一之间 fine-tuning中train.sh看是哪个模型保存了，要在predict.sh中引用 如果运行结果多次不变，就删除eval_output中的模型，重新跑一次 数据集一定要Shuffle！！！！这是我调试ber...
BERT手把手实现分类任务-Pytorch
03-15
BERT手把手实现分类任务-Pytorch
基于bert实现文本多分类任务
12-21
代码已上传至github https://github.com/danan0755/Bert_Classifier 数据来源cnews，可以通过百度云下载 ...复制run_classifier.py，命名为run_cnews_cls.py。添加自定义的Processor class MyProcessor(D
NLP：实现BERT完成对英文数据集的二分类任务.zip
04-21
实现BERT完成对英文数据集的二分类任务 准确率 可以在测试集上达到准确率92.8%+（未调参数，bert！nb！随便允许一下就92%+） 注意事项 代码需要修改数据集路径和词向量路径
基于Bert 预训练模型的美团评价多标签多分类任务.zip
01-07
classification reporter precision recall f1-score support micro-avg 0.88 0.85 0.87 300000 macro-avg 0.70 0.59 0.61 300000 weighted-avg 0.87 0.85 0.86 300000 samples-avg 0.88 0.85 0.87 300000
Pytorch框架基于Bert构建词向量+Bi-LSTM+Attention实现情感分类任务python源码+数据集.zip
01-09
LSTM+Attention实现情感分类任务python源码+数据集.zipPytorch框架基于Bert构建词向量+Bi-LSTM+Attention实现情感分类任务python源码+数据集.zipPytorch框架基于Bert构建词向量+Bi-LSTM+Attention实现情感分类任务...
神经网络做二分类 loss=0.6931一直不下降
城北周杰伦的博客
03-12 5432
昨天做二分类的时候遇到一个问题，不管自己的网络怎么训练二元交叉熵的loss一直为0.6931，不管我改变超参数还是初始化的权重和偏倚总是不变，最后去看了一下大家有没有遇到这个问题，结果发现 log(0.5)=0.6931 也就是说你的准确度在0.5左右，我第一反应0.5也不是很差啊！等等，0.5？？？二分类的准确度为0.5左右，这和我直接猜有什么区别吗？？？？搞事？？？我思前想后发现网络的结构啥的...
准确率、召回率、F-1值、ROC
weixin_41961559的博客
06-17 785
准确率、召回率、f1值
【MI-EEG】数据二分类准确率一直保持在0.5...
菜鸡踩的坑s
06-13 400
我这个问题仅限于这个数据集，因为我的损失函数一直保持在0.69附近，准确率在0.5附近，就一直以为是代码哪里出了问题，搜了很多方法也没有改进。使用BCIC 2a数据集来训练网络，不管是验证集还是测试集准确率均在0.5左右，当然训练集也不会高到哪里去，在0.5和0.65之间摆动。我自己心知肚明，我自己搭的网络很垃圾，基本上就是几个卷积层，把网络建的深了之后，现在准确率一眼看过去就是增长了。BCIC 2a数据集本来就很小，并且其他方法在这个数据集上的准确率也并没有达到很高。
bert微调做二分类任务代码
05-11
下面是使用PyTorch实现BERT微调进行二分类任务的代码示例： ```python import torch from torch.utils.data import TensorDataset, DataLoader, RandomSampler, SequentialSampler from transformers import BertTokenizer, BertForSequenceClassification, AdamW, get_linear_schedule_with_warmup # 定义一些基本参数 MAX_LEN = 128 BATCH_SIZE = 32 EPOCHS = 4 LEARNING_RATE = 2e-5 # 加载数据 train_texts = [...] # 训练集文本 train_labels = [...] # 训练集标签 test_texts = [...] # 测试集文本 test_labels = [...] # 测试集标签 # 加载BERT tokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True) # 对训练集和测试集进行编码 train_encodings = tokenizer(train_texts, truncation=True, padding=True, max_length=MAX_LEN) test_encodings = tokenizer(test_texts, truncation=True, padding=True, max_length=MAX_LEN) # 将编码转换为PyTorch tensors train_labels = torch.tensor(train_labels) test_labels = torch.tensor(test_labels) train_dataset = TensorDataset(torch.tensor(train_encodings['input_ids']), torch.tensor(train_encodings['attention_mask']), train_labels) test_dataset = TensorDataset(torch.tensor(test_encodings['input_ids']), torch.tensor(test_encodings['attention_mask']), test_labels) # 创建数据加载器 train_sampler = RandomSampler(train_dataset) train_dataloader = DataLoader(train_dataset, sampler=train_sampler, batch_size=BATCH_SIZE) test_sampler = SequentialSampler(test_dataset) test_dataloader = DataLoader(test_dataset, sampler=test_sampler, batch_size=BATCH_SIZE) # 加载BERT模型 model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2) # 定义优化器和学习率调度器 optimizer = AdamW(model.parameters(), lr=LEARNING_RATE, eps=1e-8) total_steps = len(train_dataloader) * EPOCHS scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, num_training_steps=total_steps) # 训练BERT模型 for epoch in range(EPOCHS): for step, batch in enumerate(train_dataloader): # 将batch转换为GPU tensor batch = tuple(t.to('cuda') for t in batch) inputs = {'input_ids': batch[0], 'attention_mask': batch[1], 'labels': batch[2]} outputs = model(**inputs) loss = outputs[0] loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step() optimizer.zero_grad() # 在测试集上评估模型 model.eval() test_loss, test_accuracy = 0, 0 nb_test_steps, nb_test_examples = 0, 0 for batch in test_dataloader: batch = tuple(t.to('cuda') for t in batch) inputs = {'input_ids': batch[0], 'attention_mask': batch[1], 'labels': batch[2]} with torch.no_grad(): outputs = model(**inputs) logits = outputs[1] logits = logits.detach().cpu().numpy() label_ids = inputs['labels'].cpu().numpy() tmp_test_accuracy = accuracy(logits, label_ids) test_accuracy += tmp_test_accuracy nb_test_examples += inputs['input_ids'].size(0) nb_test_steps += 1 test_accuracy = test_accuracy / nb_test_examples print('Epoch: {}, Test Accuracy: {}'.format(epoch, test_accuracy)) ``` 其中，`train_texts`和`train_labels`是训练集的文本和标签，`test_texts`和`test_labels`是测试集的文本和标签。`tokenizer`用来将文本转换为BERT的输入格式，`BertForSequenceClassification`是带有分类层的BERT模型，`AdamW`是用于优化模型的优化器，`get_linear_schedule_with_warmup`是用于调整学习率的调度器。在训练过程中，我们使用了梯度裁剪来避免梯度爆炸，同时在每个epoch结束后在测试集上评估模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值