bert扩充或者缩小词表

最新推荐文章于 2025-06-05 16:53:26 发布
最新推荐文章于 2025-06-05 16:53:26 发布
阅读量380 收藏 2
点赞数 2
文章标签： bert 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltochange/article/details/125909367
版权

在BERT模型中添加自己的词汇（pytorch版） - 知乎

输入

1. 扩充词表

替换bert词表中的【unused】

2. 缩小词表

因为要使用预训练的模型，词id不能变，词向量矩阵大小不变

要做的是将减少的那一部分词全部对应为unk，即可

输出

如果是mlm任务，输出也是bert的词表大小。

1. 扩充词表

（1） 不改变原来的id，直接将【unused】换成要补充汉字

（2） bert词表+新词重新排列，在词表中的，使用对应的分类参数初始化，不在的，随机初始化

added_tokens.json  怎么用

2. 缩小词表

这里可以随机挑选bert中的词，将对应的分类参数拷贝过来即可， 重新安排好

LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tunin
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-21 2490
​ LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tuning，LoRA/QLoRA/LOMO)之详细攻略 LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—基于添加式(引入额外可训练参数或模块，如Adapter/Prefix/P-tuning/HINT)、基于规范化(冻结某些固有模型参数同时指定
NLP（五十二）在BERT模型中添加自己的词汇
山阴少年
05-03 8866
  不论是Tensorflow版本或者PyTorch版本的NLP预训练模型，我们都会在模型文件中看到vocab.txt文件，这个文件就是该预训练模型的词汇表。通常，模型本身都会自带词汇表文件，这是在模型预训练的时候训练得到的词汇表，具有代表性，一般不可随意更改。同时vocab.txt文件中也保留了一定数量的unused词汇，用来添加新词。   本文将介绍如何在BERT模型中添加自己的词汇，其他预训练模型原理相同。 我们将通过三个常见的模块来介绍，分别是keras-bert，transformers,toke
（教程）如何在BERT模型中添加自己的词汇（pytorch版）
学姐带你玩AI的博客
01-24 3015
参考文章：NLP | How to add a domain-specific vocabulary (new tokens) to a subword tokenizer already trained like BERT WordPiece | by Pierre Guillou | Medium
史上最小白之Bert详解
Tink1995的博客
04-06 1万+
1.前言
bert知识扩充
weixin_48185819的博客
12-24 1059
一、BERT-wwm wwm(Whole Word Masking)，全词Mask就是对整个词都通过Mask进行掩码，包含更多信息的是词，相比于Bert的改进是用Mask标签替换一个完整的词而不是子词，中文和英文不同，英文中最小的Token就是一个单词，而中文中最小的Token却是字，词是由一个或多个字组成，且每个词之间没有明显的分隔， 论文下载链接：https://arxiv.org/pdf/1906.08101.pdf 二、BERT-wwm-ext 它是BERT-wwm的一个升...
在自己的数据集上重新训练BERT（附代码）
qq_36618444的博客
05-26 1万+
最近有需要在新的领域进一步训练BERT，因此参照了hugging face官方文档写了相应的代码。本文采用的是hugging face提供的checkpoint，并在相应的task special领域进行了微调。由于项目的保密协议代码数据不便全部公开，下面只给出关键的部分。 BERT MLM 重新训练BERT主要是在自己的数据集上实现Masked Language Model的预测任务。我忘记了在哪篇论文里看到Next Sentence Prediction对下游的任务的增益其实并不大（如果有误还请指出），
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
医疗金融法律大模型：从ChatDoctor到BloombergGPT/FinGPT/FinBERT、ChatLaw/LawGPT_zh
结构之法 算法之道
07-05 1万+
第一部分 各种医疗类ChatGPT：或中英文数据微调LLaMA、或中文数据微调ChatGLM 1.1基于LLaMA微调的中英文版ChatDoctor 11.1.1 ChatDoctor：通过self-instruct技术提示API的数据和医患对话数据集微调LLaMA
大模型学习-ChatGLM、Llama、ChatGPT系列
fj1024的博客
07-12 3310
等同于同时融合了两者的优点，但是注意，分组查询注意力并没有减少模型的计算量，只是优化的显存的换入换出，在解码过程中由于key和value的数量级远远小于query的数量级，所以在自回归解码时可以将已经计算出来的key和value一直存储在高速缓存中，减少数据换入换出的次数，以此来提升速度。可以有效地保持位置信息的相对关系，相邻位置的编码有一定的相似性，远离位置的编码有一定的差异性，增强模型对位置的感知能力，可通过旋转矩阵来实现位置编码的外推，来实现生成超过预训练长度的位置编码，增强模型的泛化能力和鲁棒性。
大模型算法岗常见面试题100道（值得收藏）
2401_85324918的博客
07-24 1997
LangChain是一个用于构建和运行大型语言模型应用的开源框架。它提供了一套工具和组件，帮助开发者将大型语言模型（如 GPT-3）与其他工具和API结合，以完成更复杂的任务。1、LangChain包含哪些核心概念?Components:可重用的模块，例如API调用、数据库查询等。Chains:将多个Components链接在一起以完成特定任务的流程。Prompt Templates: 用于指导语言模型生成输出的文本模板。Output Parsers:解析语言模型输出的工具。
预训练在Sparse retrieval的应用
RUCblake的博客
12-18 1871
预训练模型在sparse retrieval的应用
探究各大类大模型：核心差异与应用特色
m0_70839135的博客
07-13 886
在人工智能的浩瀚星空中，各大类大模型如同璀璨的星辰，各自散发着独特的光芒。它们以卓越的性能和广泛的应用场景，引领着技术的前沿，推动着社会的进步。然而，每一颗星辰都有其独特的轨迹和光芒，各大类大模型亦然，它们在训练数据和模型结构上依然不同，本文将带你揭秘它们的不同之处
bert细节适配：添加词表之外的词和标点符号的更好处理
岁月如歌
11-01 7023
bert细节：添加词表之外的词的替换方式 token_dict = load_vocab(dict_path) # 读取词典 class OurTokenizer(SimpleTokenizer): def _tokenize(self, text): R = [] for c in text: if c in self._tok...
bert 词典扩充方案
weixin_30321709的博客
04-25 1847
转载于:https://www.cnblogs.com/wuxiangli/p/10769512.html
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
最新发布
ak47maker的博客
06-05 240
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
2501_91516851的博客
06-04 745
长短期记忆网络（LSTM）通过创新的门控机制解决了传统RNN的梯度消失问题。其核心是记忆单元和三个门（遗忘门、输入门、输出门），能够选择性保留长期依赖信息。相比RNN，LSTM的线性信息流使梯度有效传播，门控机制动态调节信息流动。LSTM在文本分类、序列标注、机器翻译等NLP任务中表现优异，并衍生出GRU、双向LSTM等变体。伪代码展示了LSTM单元的基本实现逻辑，包括门控计算和状态更新过程。
深度学习在非线性场景中的核心应用领域及向量/张量数据处理案例，结合工业、金融等领域的实际落地场景分析
mayaohao的博客
06-05 654
‌非线性建模不可替代性‌工业缺陷形态、市场动态、生物信号等复杂模式无法用线性方程描述310‌高维张量处理优势‌图像/点云/频谱等天然高维数据需张量结构存储，深度学习可分层提取非线性特征1112‌激活函数的核心作用‌ReLU/ GELU 等函数赋予模型分层次拟合复杂决策边界的能力38例如晶圆检测中，单个像素缺陷需联合周围100×100区域非线性特征（如纹理渐变、边缘突变）才能准确判定，此时CNN的多层非线性激活远优于线性分类器1011。
深度学习习题2
2301_78450837的博客
06-05 569
4.假设我们拥有一个已完成训练的、用来解决车辆检测问题的深度神经网络模型，训练所用的数据集由汽车和卡车的照片构成，而训练目标是检测出每种车辆的名称（车辆共有10种类型）。造成这一现象的可能原因是什么？A、第一隐藏层对应D，第二隐藏层对应C，第三隐藏层对应B，第四隐藏层对应A。B、第一隐藏层对应A，第二隐藏层对应C，第三隐藏层对应B，第四隐藏层对应D。C、第一隐藏层对应A，第二隐藏层对应B，第三隐藏层对应C，第四隐藏层对应D。D、第一隐藏层对应B，第二隐藏层对应D，第三隐藏层对应C，第四隐藏层对应A。
PyTorch实战——基于生成对抗网络生成服饰图像
盼小辉丶的博客
06-01 855
我们已经学习了生成对抗网络 (Generative Adversarial Network, GAN) 的工作原理，接下来，将学习如何将其应用于生成其他形式的内容。在本节中，介绍使用 GAN 创建灰度图像，包括外套、衬衫、凉鞋等服饰，学习在设计生成器网络时如何镜像判别器网络。在本节中，生成器和判别器网络使用全连接层，全连接层的每个神经元都与前一层和后一层的所有神经元相连接。
扩充bert词表
04-17
### 扩展 BERT 模型的词表大小 为了扩展 BERT 模型的词表大小，通常需要对分词器和模型本身进行一系列修改。以下是实现这一目标的关键方法和技术： #### 使用 SentencePiece 工具 SentencePiece 是一种流行的工具，用于生成子词级别的词汇表[^3]。它支持动态扩展词表的能力，允许将新的标记加入现有的词汇表中。通过重新训练 SentencePiece 模型并更新其配置文件，可以有效地增加 BERT 的词汇量。 #### 修改 WordPiece 分词器 如果继续使用传统的 WordPiece 方法，则可以通过以下方式扩展词表： - **重新训练分词器**：利用更大的语料库重新训练 WordPiece 模型，从而生成一个新的、更大规模的词汇表[^4]。 - **手动添加新词**：对于特定领域的新术语或专有名词，可以直接将其添加到现有词汇表中，并相应地调整嵌入层权重矩阵的维度[^2]。 #### 调整模型架构以适应扩大的词汇范围 当增加了词汇数量之后，还需要同步更改 Transformer 架构内的 Embedding 层参数设置。具体而言： 1. 更新 `Embedding` 层输入尺寸至匹配最新版扩大后的字典长度； 2. 初始化新增部分对应的随机初始值或者迁移自其他预训练好的向量表示作为起点； 下面给出一段 Python 示例代码展示如何操作这些改动过程: ```python from transformers import BertTokenizer, BertModel import torch.nn as nn # 加载原始BERT Tokenizer 和 Model tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') original_vocab_size = model.config.vocab_size # 添加新词到词表 (假设我们有列表 new_tokens) new_tokens = ['<new_token_1>', '<new_token_2>'] num_added_toks = tokenizer.add_tokens(new_tokens) # 扩展模型embedding layer 来容纳额外的tokens model.resize_token_embeddings(len(tokenizer)) print(f"Original vocab size: {original_vocab_size}") print(f"New vocab size after adding tokens: {len(tokenizer)}") # 验证新token已被正确加载 test_sentence = "<new_token_1> This is a test sentence with <new_token_2>" encoded_input = tokenizer(test_sentence, return_tensors='pt') output = model(**encoded_input) ``` 此脚本展示了怎样安全地引入外部未见过的词汇进入标准版本的BERT体系结构之中而不破坏原有功能特性的同时还能让网络学会理解那些之前从未见过的概念实体等等。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旺旺棒棒冰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值