BERT踩坑实录

最新推荐文章于 2023-07-27 13:49:06 发布
最新推荐文章于 2023-07-27 13:49:06 发布
阅读量1.1k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoronge9921/article/details/103165975
版权

最近用到bert模型做中文文本分类，记录一下踩的坑：

1、数据不平衡

由于数据量太少，而且极度不平衡，导致模型把所有数据都判为正例或负例，导致多次试验结果的正确率不变，精确率要不和正确率一样，要不就是0，召回率是1或者是0。

2、shuffle数据，shuffle数据，shuffle数据

刚开始直接用THUCnews数据跑模型，结果在验证集上的正确率为0，后来把数据打乱之后，正确率可以达到19%，82%，93%，94%，98%了。

目前遇到这些，后期再更新。

卡布达打小怪兽_Cheer
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
bert-pretrained
04-17
bert-pretrained
基于bert预训练模型的大规模不均衡样本文本分类问题的解决方案
达观数据
11-10 1266
第五届“达观杯”自然语言处理算法竞赛——基于大规模预训练模型的风险事件标签识别已于10月中旬在第十届CCF自然语言处理与中文计算国际会议现场落下帷幕。 本届大赛达观数据提供了72G、上亿条通用领域经过脱敏的资讯信息用来支持预训练模型。训练集有14009条样本，数据来自于金融、政务、军事等多个领域，不均匀分布在35个类别里面，采用macroF1作为评价方案。 从获奖选手的方案中，发现选手使用最多的模型是bert，其次是nezha，方案基本是多模型融合。预训练模型很大程度上缓解了样本标注数量过少的问
Paddle-bert
04-17
Paddle-bert
bert-chinese
04-17
bert-chinese
有毒评论分类：使用BERT转移学习对文本进行多标签分类不平衡数据的重新采样
02-21
使用预训练的Google BERT模型对有毒评论（Kaggle的竞争数据集）进行多标签分类 keras-bert.ipynb ：在Google的BERT模型的顶部微调一个多标签分类器（固定其参数）。 将Hamming损失与自定义定义的召回率指标一起使用（衡量分类器正确预测的阳性标签的比例），以评估分类器的性能。 use-model.ipynb ：使用微调的多标签分类器进行预测 colab-tpu ：文件夹包含用于在Colab TPU上训练模型的笔记本（注意：在对Colab TPU进行训练之前，向GCS存储桶授予匿名读取权限） data_prepare.ipynb ：准备数据并将其保存到Tfrecord文件中； Train_tpu.ipynb ：使用tf.data.Dataset在TPU上进行训练； 将TFHUB_CACHE_DIR环境变量设置为GCS bucket，以便TPU可以从缓
关于最近实践 Bert 的一些坑
fengdu78的博客
01-20 1289
作者：老宋的茶书会https://zhuanlan.zhihu.com/p/69389583前言最近，已经几乎将重心完全放在了如何在 Bert 之上搞事情，主要还是探索 Bert 在分类...
NLP突破性成果 BERT 模型详细解读 bert参数微调
kyle1314608的博客
07-24 2785
https://zhuanlan.zhihu.com/p/46997268 NLP突破性成果 BERT 模型详细解读 章鱼小丸子 不懂算法的产品经理不是好的程序员 ​关注她 82 人赞了该文章 Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，提到...
Bert踩坑总结—————分类准确率过低
热门推荐
weixin_38527856的博客
09-17 1万+
使用bert进行文本分类，主要踩的坑有： 数据格式，看自己写的类中如何提取标签和文本 fine-tuning的配置，除了指定文件路径外，可以调整学习率为万分之一到十万分之一之间 fine-tuning中train.sh看是哪个模型保存了，要在predict.sh中引用 如果运行结果多次不变，就删除eval_output中的模型，重新跑一次 数据集一定要Shuffle！！！！这是我调试ber...
BERT 模型微调实战：使用Transformers微调BERT模型实现问答和文本分类任务
FrenzyTechAI的博客
07-27 8394
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google于2018年发布。BERT模型的核心是Transformer编码器，它可以在大规模语料库上进行无监督预训练，然后通过微调在各种NLP任务上进行微调。BERT模型是一种双向的深度学习模型，它可以同时考虑上下文中的所有单词，从而更好地理解句子的含义。BERT模型已被证明在多项NLP任务上取得了最佳结果，包括问答、文本分类、命名实体识别等。
BERT模型—3.BERT模型在ner任务上的微调
柳杰的博客
07-26 2703
文章目录引言一、项目环境配置二、数据集介绍三、代码介绍四、测试结果1.代码运行流程2.运行结果3.预测 引言   这一节学习BERT模型如何在ner任务上进行微调。项目代码框架如下： 争取做到每一行代码每一行注释！！！ 一、项目环境配置 python>=3.6 torch==1.6.0 transformers==3.0.2 seqeval==0.0.12 pytorch-crf==0.7.2 二、数据集介绍 Train Dev Test Slot (NER) Labels A
BERT文本分类数据
01-11
BERT文本分类代码对应的数据
BERT模型实战1
08-03
BERT模型实战1
BERT（二）——BERT 缺陷
12-25 8714
BERT有什么局限性？ 从XLNet论文中，提到了BERT的两个缺点，分别如下： BERT在第一个预训练阶段，假设句子中多个单词被Mask掉，这些被Mask掉的单词之间没有任何关系，是条件独立的，然而有时候这些单词之间是有关系的，比如”New York is a city”，假设我们Mask住”New”和”York”两个词，那么给定”is a city”的条件下”New”和”York”并不独立，因为”New York”是一个实体，看到”New”则后面出现”York”的概率要比看到”Old”后面出现”Yo
论文笔记：BERT
2201_75664784的博客
12-22 150
在GPT、ELMo工作的基础上，BERT提出了新的预训练模型的思路
Autoencoding/BERT在词表征中的优势和劣势
weixin_43292547的博客
11-23 1037
import lombok.*; import org.junit.Test; import java.util.ArrayList; import java.util.Optional; import java.util.stream.Collectors; import java.util.stream.Stream; public class T1 { @Test public void asdasd(){ ArrayList<Integer> l=ne
为什么训练时测试准确率大幅度波动_你也可以训练超大神经网络！谷歌开源GPipe库...
weixin_39889329的博客
11-10 1609
BigGan、Bert、GPT 2.0 等模型的出现似乎表明，DNN 模型越大，其准确率越高。但芯片内存的增长速度似乎无法满足这种“暴力美学”的需要。为此，谷歌提出并开源了一种新的方法——GPipe，利用管道并行化扩展 DNN 训练以克服这种局限。它可以让研究者轻松部署更多的加速器，以训练更大的模型，并在不调整超参数的前提下实现性能扩展。选自Google AI Blog，作者：Yanping Hu...
基于bert的分类笔记
zh515858237的专栏
05-17 962
样本不均衡问题就是指在做文本分类时发现，训练数据中的样本类别分布差异极大，有的类别占比超过90%，有的类别占比连0.01%都不到。
node-v0.10.9-sunos-x86.tar.gz
最新发布
05-16
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
bert dropout
04-02
BERT Dropout是一种在BERT模型中应用的正则化技术，用于防止过拟合和提高模型的泛化能力。在BERT中，Dropout被应用于Transformer的多头自注意力机制和前馈神经网络中。 具体来说，BERT Dropout通过在训练过程中随机将一部分神经元的输出置为0来实现。这样做的好处是，它可以迫使模型不依赖于某些特定的输入特征，从而增加模型对不同输入的鲁棒性。 在BERT中，通常会在Transformer的每个子层中应用Dropout。具体来说，对于每个子层的输出，都会独立地随机选择一些神经元，并将它们的输出置为0。然后，在进行下一层的计算之前，会将剩余的神经元的输出进行缩放，以保持总体输出的期望值不变。 通过使用BERT Dropout，可以有效地减少模型的过拟合风险，并提高模型在未见过的数据上的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值