各种子词分词方式

最新推荐文章于 2024-08-05 20:18:55 发布
最新推荐文章于 2024-08-05 20:18:55 发布
阅读量432 收藏
点赞数
分类专栏： nlp应用 文章标签： 子词 subword
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltochange/article/details/119958559
版权
  1. gpt-1用的是Byte-Pair-Encoding
  2. bert 与 electra 用的是WordPiece
  3. robert和gpt-2 用的是byte-level Byte-Pair-Encoding [bbpe]
  4. xlnet与albert 用的是SentencePiece
旺旺棒棒冰
关注
专栏目录
自然语言处理NLP星空智能对话机器人系列：理解语言的 Transformer 模型-子词分词器
段智华的博客
11-23 1278
自然语言处理NLP星空智能对话机器人系列：理解语言的 Transformer 模型 本文是将葡萄牙语翻译成英语的一个高级示例。 目录 安装部署 Tensorflow设置输入pipeline运行结果参考文献星空智能对话机器人系列博客 安装部署 Tensorflow import tensorflow_datasets as tfds import tensorflow as tf import time import numpy as np import matplotlib.pyplot as plt
利用GPT开发应用003：GPT分词和预测
LuckyHanMo的博客
03-08 877
这些令牌代表单个单词或单词的一部分。例如，前面的提示可以分解如下：[“The”, “wea”, “ther”, “is”, “nice”, “today”, “,”, “so”, “I”, “de”, “ci”, “ded”, “to”]。然后这个过程会重复进行，但现在上下文变为“今天天气很好，所以我决定出去”，之前预测的令牌“出去”被添加到原始提示中。在我们的例子中，在“今天天气很好，所以我决定”之后，下一个最佳令牌可能是“出去”。为了创建一个新的句子，LLM根据提示的上下文预测最有可能的下一个令牌。
子词分词器BPE和WordPiece理解
beingstrong的博客
04-15 1728
在学习不同的模型如GPT-1、Bert时可以发现它们使用了不同的子词分词器(subword tokenizer) ：BPE（Bype Pair Encoding)和WordPiece。那这两个子词分词器有什么异同呢？
大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践
最新发布
qq_24428851的博客
08-05 1145
token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前LLaMAChatGLM等大模型采用的是基于分词工具实现的分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。常用分词算法简述以中文LLaMA(Atom)为例快速开始BBPEByte-Pair Encoding (BPE) 原理简述Byte-level BPE(BBPE)原理简述使用sentencepiece训练BPE，BBPE。
NLP--BPE、WordPiece、ULM、SentencePiece子词分词器总结【原理】
故事猝不及防，发量秃如其来
04-14 1573
子词解决了词汇量问题，并在很大程度上有助于减少模型参数的数量，子词有助于保持词汇更加平衡。
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 4102
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
利用Word2Vec在语料中构建种子词集同类词
weixin_50229358的博客
04-06 3956
nlp小白努力探索的第n天...... 今天记录和分享利用gensim.model.word2vec.Word2Vec在语料中构建种子词集同类词 先说明任务情况： 全量语料数据中包含：已打标语料，未打标语料。从已打标语料中提取出关键词，我们将这部分词汇成为种子词集。现需要从全量语料数据中找到种子词集的同类词。 步骤： 1）对语料库建立word2vec词向量模型； 2）利用 gensim.model 联动的词汇相似度计算方法，以种子词集作为研究对象在语料库中找出同类词。 数据展示： 文件名：u
利用情感种子词计算数据集中最具有正负情感的前50个词【社会计算大作业】
m0_52775920的博客
11-21 2287
说明 需要相关文件的，请访问我的 github仓库，指路。拜托顺手点个小 star 。 步骤 读取评论文件，按照正向和负向两个分类把评论分别写入两个新的文件（正向的评论和负向的评论）。读取前4000条写入正向的评论文件，后8000条写入负向的评论文件。 def separate_csv(file): """ 将评论按照正向或者负向分别写入两个文件 """ a = 1 with open(file, "r", encoding="utf-8") as f: reader
LLMs之Tokenizer之Unigram：Unigram分词方法的简介、使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-05 1059
Unigram源自N-gram，最简单的分词方式，而UnigramLM是一种基于语言模型的分词算法/切分技术，它使用已经切分好的词汇序列(比如Unigram)来训练n-gram语言模型，然后使用该模型来预测新的句子中的词汇切分位置。为了估计Unigram语言模型，它采用了期望最大化（EM）算法：在每次迭代中，我们首先根据旧的语言模型找到当前最优的单词分词方式，然后重新估计Unigram的概率以更新语言模型。此外，为了更好的子词抽样，我们提出了一种基于unigram语言模型的新的子词分割算法。
定制农林词典提升分词准确性：6万词汇助力精准农业
农林渔畜相关自定义词典是一份精心整理的专业词汇集合，针对农业、林业、渔业和畜牧业领域的特定术语与实体名词，共收录了6万个不重复的词。这份词典旨在帮助用户提升在处理与这些领域相关文本时的分词准确度，避免...
首先，通过人工手动选取部分隐私相关词作为种子词，得到种子词列表；其次，利用BERT模型训练大量的微博用户文本语料和种子词列表中的一个种子词，获取词向量；然后，计算微博文本语料中每个中文词汇与已有种子词的余弦相似度，两个向量之间的余弦相似度越大说明它们关联度越高。最后，设置关联度阈值为0.85，语料中大于等于阈值0.85的词汇并且实际语义也是相近的才能被认为是相关隐私风险词，并与种子词一起纳入隐私词库中，词库达到一定规模后，过滤去重，形成最终的隐私词库。注意：我需要Tokenizer模型分词分的是中文，并不是分成单个字。帮我实现上述描述的代码，并且运行之后不要报错
05-29
接着，我们对微博用户文本语料进行了预处理，使用tokenizer将文本转化为BERT模型所需的输入格式，并使用模型计算了微博文本语料中每个中文词汇与已有种子词的余弦相似度，得到相关性矩阵。然后，我们确定了关联度...
NLP中的Tokenization方法——BPE（Byte-Pair Encoding）
xiao_ling_yun的博客
03-19 4667
我们知道很多NLP模型（Transformer, Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-Head Self Attention Layer，后者大家都很熟悉，但如何获得token，却很少有人讲解，这一部分也一度令我疑惑。 获得句子的token，操作被称为：tokenization。是NLP任务中最基础、最先需要进行的一步，该操作的目的是将输入文本分割成单独的部分，然后结合词典进一步转化为token。
ASCII, Unicode 以及 UTF-8
即事多所欣 的博客
03-10 147
最近在看 NLP 里用的 BBPE (Byte level Byte-pair Encoding) 分词算法，顺便查了下字符的编码方式，做个笔记
超大模型——“悟道”与“盘古”介绍
OpenI启智社区
09-06 1970
OpenI启智社区开源项目系列介绍 继基于数据的互联网时代、基于算力的云计算时代之后，人工智能的大模型时代正在到来。超大数据+超大算力+超大模型, 将如”电网”一般，成为变革性产业基础建设设施，与驱动信息产业应用发展的核心动力。 作为OpenI启智社区开源项目介绍的首期内容，本期将介绍两个超大规模预训练模型——“悟道”、“鹏程·盘古”。 鹏程·盘古 源代码仓库：https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha 由鹏城实验室
随机分词与tokenizer(BPE-＞BBPE-＞Wordpiece-＞Unigram-＞sentencepiece-＞bytepiece)
weixin_36378508的博客
12-08 2761
随机分词与tokenizer(BPE->BBPE->Wordpiece->Unigram->sentencepiece->bytepiece)
自然语言处理的分词和子词任务
weixin_45837958的博客
05-05 292
自然语言处理的一大特点就是任务种类繁多。今天来讲讲几种最近学到的任务及处理方法。
NLP-预训练模型-2020：Electra【预训练任务RTD（ReplacedTokenDetection）替代MLM；借鉴GAN；生成器+判别器；判别器用于下游；比RoBert预训练速度大幅提升】
u013250861的博客
08-03 4032
自然语言处理(NLP)-预训练模型：Electra【Pre-training Text Encoders as Discriminators Rather Than Generators】2020
NLP课程：Encoder-Decoder框架、Attention、Transformer、ELMO、GPT、Bert学习总结
算法人生
01-31 9560
Encoder-Decoder框架： 可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。对于句子对<Source,Target>，我们的目标是给定输入句子Source，期待通过Encoder-Decoder框架来生成目标句子Target。 Encoder顾名思义就是对输入句子Source进行编码，将输入句子通过非线性变换转化为中间语义表示C：...
BPE(Byte Pair Encoding)算法
热门推荐
越努力 越幸运
01-03 1万+
BPE算法，最早应用于NLP任务出现于《Neural Machine Translation of Rare Words with Subword Units》这篇文章，是一种解决NMT任务中，出现OOV（out-of-vocabulary）的方法。在NMT任务中，如果出现OOV问题，最常见的就是back off to a dictionary。这篇文章使用了BPE算法后，不用退回到字典前就可以继...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旺旺棒棒冰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值