在bert的基础模型上训练自己的数据（只是过程源码解析后面更新）

最新推荐文章于 2024-07-22 08:47:08 发布
最新推荐文章于 2024-07-22 08:47:08 发布
阅读量4.6k 收藏 37
点赞数 4
分类专栏： python bert 文章标签： tensorflow 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gubaocheng/article/details/106856307
版权

1.第一步
从github上下载bert的源码链接，并且下载BERT模型链接
2.第二步
准备数据中文数据样式如图所示：
每一句话旧的换行显示
（每一句话一行）
3.第三步
使用bert/create_pretraining_data.py来做数据的预处理
主要是修改改文件的FLAGS.参数即可
在这里插入图片描述

4.第四步
运行bert/run_pretraining.py 同样只要修改FLAGS.参数 即可
在这里插入图片描述

到这就可以了

一路向北的人
关注
专栏目录
BERT 预训练PTM数据样本简单构建认识
weixin_42357472的博客
07-23 553
参考：https://www.cnblogs.com/little-horse/p/14622047.html BERT 预训练PTM任务 1.MLM(masked lm)：带mask的语言模型 2.NSP(next sentence prediction)：是否为下一句话 BERT输入主要包括三部分： 1.字的token embeddings 2.句子的segment embedding 3.句子位置的position embeddings 代码处理生成样本数据案例 1、词表生成（其实是字表
手动实现BERT
NLP工程化
09-29 1179
本文重点介绍了如何从零训练一个BERT模型的过程，包括整体上BERT模型架构、数据集如何做预处理、MASK替换策略、训练模型和保存、加载模型和测试等。
BERT+使用transformers库加载自己数据集做BERT预训练（普通方式+TrainerAPI）
weixin_40982849的博客
10-26 7951
Word Embedding 在NLP任务中，我们需要对文本进行编码，使之成为计算机可以读懂的语言。在编码时，我们期望句子之间保持词语间的相似性。word embedding做的事情就是把一个词映射到低维的稠密空间，切语义相近的词向量离得比较近。 ...
bert的训练数据的简单构建
最新发布
qq_20182781的博客
07-22 168
sentence prediction：是否为下一句话。下面就简单的构建一个bert的训练数据二.程序。1.masked lm：带mask的语言模型。1.字的token embeddings。3.句子位置的embeddings。2.句子的embeddings。
使用自己的数据再训练BERT
bayou3的博客
08-15 1万+
Though the pre-trained model is good enough, you may still want to tune the pre-trained model offered by Google on your own domain-specific corpus for several additional epochs. That is, give your Ber...
在自己的数据集上重新训练BERT（附代码）
热门推荐
qq_36618444的博客
05-26 1万+
最近有需要在新的领域进一步训练BERT，因此参照了hugging face官方文档写了相应的代码。本文采用的是hugging face提供的checkpoint，并在相应的task special领域进行了微调。由于项目的保密协议代码数据不便全部公开，下面只给出关键的部分。 BERT MLM 重新训练BERT主要是在自己的数据集上实现Masked Language Model的预测任务。我忘记了在哪篇论文里看到Next Sentence Prediction对下游的任务的增益其实并不大（如果有误还请指出），
如何用自己的数据集进行bert预训练
ZJF的博客
07-22 9146
本实验在colab环境下进行
BERT源码解读，详细写记录从零实现BERT模型
weixin_45169380的博客
04-28 4261
BERT代码(源码)从零解读【Pytorch-手把手教你从零实现一个BERT源码模型】_哔哩哔哩_bilibili 讲解视频如上，记录是为自己更好的学习的笔记和方便后面复习。 1、参数设置 max-pred一个句子中最大可以预测多少个token n-layer由多少个encoder进行堆叠，一般base有12个，large有24个 n_head多少个头 d_ff 前馈神经网络的维度 d_k,d_v 是Q,K维度的大小，两个必须维度一致 n_segment 是二分类任务中，区分多少不同句子 .
BERT代码解析
qq_41898761的博客
05-19 3392
一、bert的原理 1、最核心的一点是：MLM损失函数的计算 什么是MLM损失函数？ 损失函数就是用来表现预测与实际数据的差距程度-----我根据数据预测出一个函数来预测我之后的变化，而损失函数就是L=(Y-f（x）)2，最后计算一个平均损失函数求和的值来表示差距。 MLM损失函数： 这个任务就是将sentence中一些token进行掩盖，模型会输出这些掩盖的token的隐藏状态，将这些隐藏状态输入softmax可以得到候选单词的概率分布，这样根据ground truth就可以计算cross entropy
BERT模型解读
lppfwl的博客
11-04 1638
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 2019年goole AI发表的文章，附上原文：https://paperswithcode.com/method/bert pytorch版本代码：https://github.com/huggingface/transformers/tree/master/src/transformers/models/bert BERT名字由来: Bidir
[Python人工智能] 四十二.命名实体识别 (3)基于Bert+BiLSTM-CRF的中文实体识别万字详解（异常解决中）
杨秀璋的专栏
03-05 965
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解如何实现中文命名实体识别研究，构建BiGRU-CRF模型实现。这篇文章将继续以中文语料为主，介绍融合Bert的实体识别研究，使用bert4keras和kears包来构建Bert+BiLSTM-CRF模型。然而，该代码最终结果有些问题，目前还在解决中，但现阶段方法先作为在线笔记分享出来。基础性文章，希望对您有帮助，如果存在错误或不足之处，还请海涵。且看且珍惜！
LLM 系列——BERT——论文解读
TigerZ*的博客
02-28 1184
BERT是单模态“小”语言模型，是一个“Bidirectional Encoder Representations fromTransformers”的缩写，是一个语言预训练模型，通过随机掩盖一些词，然后预测这些被遮盖的词来训练双向语言模型（编码器结构）。可以用于句子分类、词性分类等下游任务，本身旨在提供一个预训练的基础权重。
李沐动手学深度学习V2-bert预训练数据集和代码实现
flyingluohaipeng的博客
08-02 3844
为了预训练前一篇实现的BERT模型，我们需要使用数据集用于训练这两个预训练任务遮蔽语言模型和下一句预测。一方面最初的BERT模型是在两个庞大的图书语料库和英语维基百科的合集上预训练的。另一方面现成的预训练BERT模型可能不适合医学等特定领域的应用。因此在定制的数据集上对BERT进行预训练变得越来越流行，本次使用了较小的语料库WikiText-2，来对BERT进行预训练。与用于预训练word2vec的PTB数据集相比，WikiText-2（1）保留了原来的标点符号，适合于下一句预测；.............
tensorflow BERT学习记录--使用自己的训练集--run_classifier.py
ygfrancois的博客
01-25 1万+
tensorflow bert github上有tensorflow bert的源代码和预训练模型的下载链接 该仓库里的run_classifier.py 用于fine-tuning以及推理,官方的BERT库里,只需要修改run_classifier.py即可完成对新数据集的fine-tuning和推理, 该文件里的代码主要是以下几块: 训练参数Flags的定义, 没什么好说的, 官方...
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试（一）
chenmingwei000的博客
12-15 4115
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试## 标题 数据预处理解析 1.1 create_pretraining_data.py 解析 首先，albert还是利用了bert的训练方法，所以数据处理非常相似，除了利用全词模式的更改；本文章只针对代码进行解析；代码在github搜索就能得到 作者提供了一个样例数据，这样的话，其实是非常让用户方便的进行自己数...
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试（二）
chenmingwei000的博客
12-19 2416
`Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试## 标题（二） 上一张讲解了怎么构造预训练的数据，这一章讲解训练过程，一起探讨与bert的区别 1.2 run_pretraining.py 的讲解 我们仍然采用debug模式进行 bert_config = modeling.BertConfig.from_json_file(FLAGS.bert_confi...
在bert上使用领域的数据集继续预训练
samoyan的博客,记录技术成长~
11-25 3294
1、下载bert或者roberta的源码以及开源的预训练模型 https://github.com/brightmart/roberta_zh 2、准备好自己的领域数据 格式是：一行一句话，多个文本之间使用空行隔开 为了解决这个问题，很自然的想法就是词作为一个整体要么都 Mask 要么都不 Mask，这就是所谓的 Whole Word Masking。 这是一个很简单的想法，对于 BERT 的代码修改也非常少，只是修改一些 Mask 的那段代码。对于英文来说，分词是一个（相对）简单的问题。 哈工大
探索自我训练的BERT模型：Pretraining-Yourself-Bert-From-Scratch
gitblog_00040的博客
06-18 330
探索自我训练的BERT模型：Pretraining-Yourself-Bert-From-Scratch 去发现同类优质开源项目:https://gitcode.com/ 在这个信息爆炸的时代，预训练模型如BERT已经成为自然语言处理领域的基石。Google的预训练BERT模型通常能满足大部分需求，然而，当面临特定领域或数据集时，你可能需要一个定制化的解决方案。这就引出了我们今天的主角——Pret...
BERT训练数据，tfrecord转换，及glue数据集。
YI_SHU_JIA的博客
09-27 1234
介绍tensorflow 使用的文本数据处理
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值