vocab.get(word, vocab.get(UNK))

最新推荐文章于 2022-10-17 17:57:30 发布
最新推荐文章于 2022-10-17 17:57:30 发布
阅读量1.2k 收藏 3
点赞数 4
分类专栏： NLP 文章标签： nlp 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiangduixuexi/article/details/118531770
版权

在自然语言处理中为tokenize后的句子进行转化成id时会用到，该代码的意思是，如果在词表vocab中有word这个单词，那么就取出它的id；如果没有，就去除UNK（未知词）对应的id，其中UNK表示所有的未知词（out of vocab）都对应该id，对应到下一步取词向量时，该id对应的词向量就表示所有未知词语义的平均。

正门大石狮
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
lambda函数—学习笔记
studyeboy的专栏
08-16 122
例子 # for 循环中 windows.append([block_id, texture, hist, window, None, [l,t,r,b]]) # 遍历windows序列，对序列中的每个w元素进行取w[1][0]操作 dis_vals = list（map(lambda w: w[1][0], windows)） li = [11, 22, 33] sl = [1, 2...
pytorch学习笔记-----自然语言处理
qq_52822699的博客
07-14 228
1.输入词长度统一 2.将词转为词向量（一般300维） rnn输入格式（b,ml,f） b:
关于python词典（Dictionary）的get()用法
weixin_30695195的博客
03-23 331
先贴出参考链接：http://www.runoob.com/python/att-dictionary-get.html get()方法语法： dict.get(key, default=None) 1. 先定义字典 >>>dict = {'A':1, 'B':2} 2. 当key值存在于dict.keys()中时，调用get()方法，返回的是对应的value值 >>...
NLP之gensim：基于fetch_20newsgroups数据集利用word2vec算法进行词向量训练并推理(输出指定单词最相关的10个词汇)
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-08 1万+
NLP之gensim：基于fetch_20newsgroups数据集利用word2vec算法进行词向量训练并推理(输出指定单词最相关的10个词汇)相关文章。
pytorch实现的TextCNN（Dataset, DataLoader的使用）
SinGaln的博客
11-24 1130
主要是Dataset, DataLoader的使用 （1）数据处理，生成Batch和向量化词表 import torch import numpy as np from tqdm import tqdm from torch.utils.data import Dataset, DataLoader tokenizer = lambda x: [y for y in x] UNK, PAD = '<UNK>', '<PAD>' # 未知字，padding符号 def buil
BERT 中文里面的 vocab.txt
11-22
BERT vocab.txt
vocab.txt词典
06-07
拼写纠错配套资源：这是一个词典文件，作为判断单词是否拼错的依据，任何未出现在词典中的词都认为拼写错误。
vocab.txt BERT
04-19
bert预训练模型中的一个文件。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
带有词频的词典库：vocab.txt
04-05
带有词频的词典库：vocab.txt
orb_vocab.dbow2
06-13
OpenVSLAM的ORB词袋包。 OpenVSLAM is a monocular, stereo, and RGBD visual SLAM system. The notable features are: It is compatible with various type of camera models and can be easily customized for ...
torchtext的Vocab从0.4.1版本转换到0.11版本
yihang___的博客
02-17 757
torchtext的Vocab类不能向前兼容。我有个0.4.1版本创建的model，就导入不到0.11版本里来。 下面贴上我的代码，进行转换。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Fri Feb 11 15:36:11 2022 @author: Yihang Zhou Contact: yihangjoe@foxmail.com https://github.com/Y-H-Joe/ ##
Torchtext快速入门（一）——Vocab
⚡
10-17 7289
深入解读torchtext.vocab.Vocab
自然语言处理:数据集预处理词向量嵌入
天然玩家的博客
10-18 1784
1 文本预处理 将文本按照词频书序为每个词分配一个编号 import codecs import collections from operator import itemgetter RAW_DATA = &amp;amp;quot;vocabulary.txt&amp;amp;quot; VOCAB_OUTPUT = &amp;amp;quot;ptb.vocab&amp;amp;quot; counter = collections.Cou
基于PyTorch的LSTM语言模型（Language Model）中字典（Vocabulary）大小限制（例如5000以内）的基本方法
qysh123的专栏
05-31 1291
这个标题比较长，其实需求很明确：在一些最简单的PyTorch的语言模型model中，原项目有时候并没有提供限制Vocabulary大小的功能，但这个又是大家常见的需求，所以我用最简单的方式总结一下： 在这里给出的例子是可以直接运行的： https://github.com/yunjey/pytorch-tutorial/tree/master/tutorials/02-intermediate/language_model 但是我们可以看到，其原有的data_utils.py文件里并没有提供限制Voc
构建文本数据集（tokenize、vocab）
weixin_46217398的博客
02-24 3327
构建文本数据集（tokenize、vocab）构建文本数据集文本清洗和读取tokenize定义计数函数定义vocab类 根据李沐老师的课做的记录。 构建文本数据集 文本数据集可以将其看作一串单词序列或者字符序列。 构建时一般有以下几个步骤。 文本清洗（比如去除乱码和标点符号、当然在很多时候并不会去掉标点符号）。 将文本存入内存。 将文本拆分成词或者字符。 建立词汇表和对应索引。 文本清洗和读取 这里使用课上提到的《time machine》 百度网盘链接 提取码：pypt 读取文本 只保留字母并统一成
6生成token怎么弄_图像生成文本 基础框架
weixin_39814093的博客
12-03 471
1204204 最近一直在接触图像生成文本这个东西，看了一些相关的论文，也运行过github上大神们的代码，特别是densecap（密集描述网络），觉得很有意义。到了自己下手准备搭建并一定程度复现框架时，感觉还是有一些棘手。但是总得踏出第一步，理解一个相对简单的框架，并在后续在其基础上进行改变并完善，这样的路线应该会好一点。环境：python3.6 tensorflow-1.13.1 -...
python集合：键值的添加，获得文件中相同字符出现的次数， counts = {}，counts.get(word,0)
weixin_42800007的博客
08-24 1万+
代码：（简单易懂，能够获得文件中相同字符出现的次数） txt = &quot;a b c d a b c a b a e&quot; words = txt.split() print(words) counts = {} for word in words: counts[word] = counts.get(word,0) + 1 #能够获得键对应的值 print(list(counts.ite...
(NLP学习)(五)实现拼写纠错
Gavin's Blog
08-27 1667
拼写纠错 错误的输入:s 正确的写法：c 基于朴素贝叶斯的Noisy channel Model： c=argmaxc∈candidatep(c∣s)=argmaxc∈candidatep(c∣s)∗p(c)c=argmax_{c\in candidate}p(c|s)=argmax_{c\in candidate}p(c|s)*p(c)c=argmaxc∈candidate​p(c∣s)=arg...
vocab 文本_如何以最佳方式处理word2vec的vocab中没有的单词
weixin_36451983的博客
12-24 1397
我有一个大约1000万个句子的列表，每个句子最多包含70个单词。在我对每个单词运行gensim word2vec，然后计算每个句子的简单平均值。问题是我使用min_count=1000，所以很多单词不在vocab中。在为了解决这个问题，我将vocab数组(包含大约10000个单词)与每个句子相交，如果这个交集中至少还有一个元素，它将返回它的简单平均值，否则，它将返回一个零向量。在问题是，当我在整个...
for line in tqdm(f): lin = line.strip() if not lin: continue content, label = lin.split('\t') words_line = [] token = tokenizer(content) seq_len = len(token) if pad_size: if len(token) < pad_size: token.extend([PAD] * (pad_size - len(token))) else: token = token[:pad_size] seq_len = pad_size # word to id for word in token: words_line.append(vocab.get(word, vocab.get(UNK))) contents.append((words_line, int(label), seq_len))
最新发布
05-30
代码首先使用 `tokenizer` 将文本内容转换为词语列表，然后使用 `vocab` 将每个词语转换为对应的 id。如果 `pad_size` 不为 None，则对词语列表进行 padding，使其长度为 `pad_size`。最后将处理好的数据以元组形式...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值