在进行bert模型预训练时，如何进行数据“增强“及规范数据集格式

于 2024-03-29 00:29:13 发布
阅读量289 收藏
点赞数 1
文章标签： bert 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63829601/article/details/137128400
版权

一丶 最简单的数据增强方式就是将数据集内的文本进行翻译，然后在翻译回来，增加样本量。

        由于我是真的新手，目前就介绍一下我自己处理的方法。首先，通过从最初的数据集中挑选你要增加的数据(因为直接复制出来会被改变格式，我不知道有什么好方法，如果有大佬能够指点一下更好啦！)。然后通过翻译软件进行翻译回译。然后将数据运用word文档等另存为txt文件，然后在记事本中又另存为csv文件，然后就可以通过csv文件的表格形式看到哪些数据分布错误。再就对这些数据进行规范就好了（具体方法就不介绍了，涉及excel。w也不是很会）。处理好后放入项目文件，然后运用最初处理数据集的代码重新处理一下，最后添加到分好的数据集中就可以咯！

（看以后还能找到更好的方法继续添加）

shaova
关注
知识增强版BERT：让NLP更智能，更强大
gitblog_00095的博客
04-24 378
知识增强版BERT：让NLP更智能，更强大 项目地址:https://gitcode.com/alicogintel/Knowledge-Enriched-BERT 项目简介 知识增强版BERT 是阿里巴巴达摩院推出的一个自然语言处理（NLP）模型，它在标准的BERT模型基础上进行了强化，通过结合丰富的知识图谱数据，提升了模型对语义理解和推理的能力。该项目的目标是解决传统预训练模型在处理涉及实体和...
小数据福音！BERT在极小数据下带来显著提升的开源实现
Paper weekly
11-27 3718
作者丨金立达单位丨笨鸟社交 AI Lab学校丨英国帝国理工学院研究方向丨自然语言处理、知识图谱标注数据，可以说是 AI 模型训练里最艰巨的一项工作了。自然语言处理的数据标...
文本分类 & 数据增强 & 模型微调
不忘初心，方得始终
02-23 2081
一 文本分类 文本分类是nlp中的简单任务，已经能够取得很好的结果了。情感分类是文本分类任务中的典型问题，经典数据集是IMDb。自从有了bert，微调预训练的bert几乎可以秒杀一众模型~不过在这里，主要介绍两个模型，一个是基于rnn的，一个是基于cnn的。 1.1 BiLSTM 1.2 TextCNN 二 数据增强 这部分主要介绍一个计算机视觉中的常用技术，叫做图像增广(i...
TinyBERT 数据增强
weixin_41021342的博客
09-20 594
关于tinyBERT论文的解读已经有很多文章了，本文仅仅说明数据增强的步骤。
条件BERT数据增广
a609640147的博客
04-28 1142
数据增广是在任务数据量稀缺时非常有用的方法。文章《Conditional BERT Contextual Augmentation》通过改变BERT的输入，在原始BERT模型上fine-tune,将预训练语言模型引入数据增广任务中，并取得了很好的效果。 论文地址: https://arxiv.org/abs/1812.06705 引言 数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集...
BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification
misaki_min的博客
10-28 1440
论文内容整理（自用） BERT4GCN 标题：BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification 摘要： 基于图的基于方面的情感分类(ABSC)方法已经取得了最先进的结果，特别是当使用了从训练前语言模型(PLMs)得到的上下文词嵌入时。然而，它们忽略了上下文的顺序特性，并没有充分利用PLMs。在本文中，我们提出了一个新的模型，它集成了来自BERT的PLM的语法顺序特
BERT训练数据，tfrecord转换，及glue数据集。
YI_SHU_JIA的博客
09-27 1224
介绍tensorflow 使用的文本数据处理
利用bert预训练的中文模型进行文本分类 数据集中文情感分析语料chnsenticorp.zip
01-06
利用bert预训练的中文语言模型进行文本分类 训练脚本 train.sh 批量测试脚本 predict.sh 利用模型进行单条语句测试 intent.py 注：修改single_predict.py中 get_test_examples,get_labels方法 max_seq_length，需...
利用预训练的中文模型实现基于bert的语义匹配模型 数据集为LCQMC官方数据.zip
01-07
利用bert预训练的中文语言模型进行文本匹配 训练脚本 train.sh 批量测试脚本 predict.sh 利用模型进行单条语句测试 intent.py chinese_L-12_H-768_A-12为预训练的相关模型和词典 data文件夹中为训练语料，验证...
基于CodeBert预训练模型，微调后直接对目标数据集进行测试.zip
01-07
我们使用的数据集来自 CodeSearchNet，我们按如下方式筛选数据集： 删除无法将代码解析为抽象语法树的示例。 删除文档 #tokens 为 或 >256 的示例 删除文档包含特殊标记的示例（例如<img ...> 或 https：...） 删除...
Python-自然语言处理闲聊机器人BERT句向量相似度文本分类数据增强
08-10
闲聊机器人（chatbot），BERT句向量-相似度（Sentence Similarity），文本分类（Text classify） 数据增强（text augment enhance），同义句同义词生成，句子主干提取（mainpart），中文汉语短文本相似度，文本特征工程，keras-http-service调用
nlpcda：一键中文数据增强包； NLP数据增强，bert数据增强，EDA：pip install nlpcda
02-03
NLP中文数据增强一键中文数据增强工具 使用： pip install nlpcda 开源不易，欢迎star :glowing_star: pypi： ：//pypi.org/project/nlpcda/ 介绍 一键中文数据增强工具，支持： 经过细节特殊处理，比如不改变年月日数字，尽量保证不改变原文语义。即使改变也能被猜出来、能被猜出来、能被踩出来、能被菜粗来、被菜粗、能菜粗来 计划中的未来内容 增加多线程操作，一键操作 随机噪声注入？随机插入一些字符，太简单实现了。 利用pingyin？ 基于Word2Vec，BERT等词向量的词组近距离的替换，MASK替换替换？？但是无法控制它生成，以及缺点MASK位置。
人工智能-项目实践-数据增强-一键中文数据增强包 ； NLP数据增强、bert数据增强
12-28
人工智能-项目实践-数据增强-一键中文数据增强包 ； NLP数据增强、bert数据增强 一键中文数据增强工具，支持： 1.随机实体替换 2.近义词 3.近义近音字替换 4.随机字删除（内部细节：数字时间日期片段，内容不会删） 5.NER类 BIO 数据增强 6.随机置换邻近的字：研表究明，汉字序顺并不定一影响文字的阅读理解<<是乱序的 7.中文等价字替换（1 一 壹 ①，2 二 贰 ②） 8.翻译互转实现的增强 9.使用simbert做生成式相似句生成
用于各类文本的BERT二次预训练.zip
01-07
用户可以根据提供的说明文档和代码，调整参数，加载自己的数据集，进行BERT的二次预训练，以适应如文本分类、问答、情感分析等多样化的任务。 总之，这个项目提供了一个完整的框架，用于对BERT进行二次预训练，以...
基于 python利用bert预训练的中文模型进行文本分类 数据集中文情感分析语料
最新发布
06-06
【作品名称】：基于 python利用bert预训练的中文模型进行文本分类 数据集中文情感分析语料 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目...
一篇就够！数据增强方法综述
abcdefg90876的博客
12-08 4572
作者|太子长琴整理|NewBeeNLP数据增强(Data Augmentation, DA)缓解了深度学习中数据不足的场景，在图像领域首先得到广泛使用，进而延伸到 NLP 领...
使用无标注的数据训练Bert
GCTTTTTT的博客
05-04 915
使用无标注的数据训练Bert
【NAACL 2021】AugSBERT：用于改进成对句子评分任务的 Bi-encoder 数据增强方法
06-21 1014
论文地址：https://arxiv.org/abs/2010.08240目前，最先进的 NLP 架构模型通常重用在 Wikipedia 和 Toronto Books Corpus 等大型文本语料库上预训练的 BERT 模型作为基线。通过对深度预训练的 BERT 进行微调，发明了许多替代架构，例如 DeBERT、RetriBERT、RoBERTa ……它们对各种语言理解任务的基准进行了实质性改进。在 NLP 中的常见任务中，成对句子评分在信息检索、问答、重复问题检测或聚类等方面有广泛的应用。
[LLM] 自然语言处理 --- Bert开发实战 (Transformers）
热门推荐
摩登都市天空---专栏
01-06 1万+
本文主要介绍如果使用huggingface的transformers 2.0 进行NLP的模型训练 除了transformers，其它兼容tf2.0的bert项目还有： 我的博客里有介绍使用方法 [深度学习] 自然语言处理--- 基于Keras Bert使用（上） keras-bert（Star:1.4k） 支持tf2，但它只支持bert一种预训练模型 bert4keras （Sta...
使用BERT预训练模型与自定义模型进行文本微调的Python实战
"这篇资源详细介绍了如何在Python中利用BERT模型进行预训练和微调，特别是在多数据库背景下。文中提供了具体的操作步骤，包括加载预训练模型、创建Tokenizer、数据预处理、模型微调等关键环节，并给出了相关的代码...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值