vocab.get(word, vocab.get(UNK))

最新推荐文章于 2022-04-27 17:37:46 发布
最新推荐文章于 2022-04-27 17:37:46 发布
阅读量1.2k 收藏 3
点赞数 4
分类专栏： NLP 文章标签： nlp 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiangduixuexi/article/details/118531770
版权
本文探讨了在自然语言处理中，如何将tokenized的句子转化为词id。当词汇表中存在某个单词时，其对应的id会被提取；若词汇表中没有，则使用UNK（未知词）的id，该id的词向量表示所有未知词的平均意义。这种方法在处理未知词汇和向量化过程中起着关键作用。
摘要由CSDN通过智能技术生成

在自然语言处理中为tokenize后的句子进行转化成id时会用到，该代码的意思是，如果在词表vocab中有word这个单词，那么就取出它的id；如果没有，就去除UNK（未知词）对应的id，其中UNK表示所有的未知词（out of vocab）都对应该id，对应到下一步取词向量时，该id对应的词向量就表示所有未知词语义的平均。

正门大石狮
关注
专栏目录
Torchtext快速入门（一）——Vocab
⚡
10-17 7655
深入解读torchtext.vocab.Vocab
lambda函数—学习笔记
studyeboy的专栏
08-16 133
例子 # for 循环中 windows.append([block_id, texture, hist, window, None, [l,t,r,b]]) # 遍历windows序列，对序列中的每个w元素进行取w[1][0]操作 dis_vals = list（map(lambda w: w[1][0], windows)） li = [11, 22, 33] sl = [1, 2...
关于python词典（Dictionary）的get()用法
weixin_30695195的博客
03-23 342
先贴出参考链接：http://www.runoob.com/python/att-dictionary-get.html get()方法语法： dict.get(key, default=None) 1. 先定义字典 >>>dict = {'A':1, 'B':2} 2. 当key值存在于dict.keys()中时，调用get()方法，返回的是对应的value值 >>...
pytorch学习笔记-----自然语言处理
qq_52822699的博客
07-14 262
1.输入词长度统一 2.将词转为词向量（一般300维） rnn输入格式（b,ml,f） b:
NLP之gensim：基于fetch_20newsgroups数据集利用word2vec算法进行词向量训练并推理(输出指定单词最相关的10个词汇)
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-08 1万+
NLP之gensim：基于fetch_20newsgroups数据集利用word2vec算法进行词向量训练并推理(输出指定单词最相关的10个词汇)相关文章。
pytorch实现的TextCNN（Dataset, DataLoader的使用）
SinGaln的博客
11-24 1199
主要是Dataset, DataLoader的使用 （1）数据处理，生成Batch和向量化词表 import torch import numpy as np from tqdm import tqdm from torch.utils.data import Dataset, DataLoader tokenizer = lambda x: [y for y in x] UNK, PAD = '<UNK>', '<PAD>' # 未知字，padding符号 def buil
for line in tqdm(f): lin = line.strip() if not lin: continue content, label = lin.split('\t') words_line = [] token = tokenizer(content) seq_len = len(token) if pad_size: if len(token) < pad_size: token.extend([PAD] * (pad_size - len(token))) else: token = token[:pad_size] seq_len = pad_size # word to id for word in token: words_line.append(vocab.get(word, vocab.get(UNK))) contents.append((words_line, int(label), seq_len))
最新发布
05-30
代码首先使用 `tokenizer` 将文本内容转换为词语列表，然后使用 `vocab` 将每个词语转换为对应的 id。如果 `pad_size` 不为 None，则对词语列表进行 padding，使其长度为 `pad_size`。最后将处理好的数据以元组形式...
python 频繁调用函数 时间显著提高
Petersburg的博客
08-17 519
函数的输入变量 我们定义一个类与其构造函数 class MyDataset(): def __init__(self, vocab, text): ``` text是一个list,为一篇文章分词之后的结果 eg. ['this', 'is', 'a', 'blog'] vocab是一个类，其有函数接口get_stoi()得到一个字典，里面包含text所有内容 ``` # method 1 self.embedded = [ vocab.get_stoi[word] for wo
自然语言处理:数据集预处理词向量嵌入
天然玩家的博客
10-18 1808
1 文本预处理 将文本按照词频书序为每个词分配一个编号 import codecs import collections from operator import itemgetter RAW_DATA = &amp;amp;quot;vocabulary.txt&amp;amp;quot; VOCAB_OUTPUT = &amp;amp;quot;ptb.vocab&amp;amp;quot; counter = collections.Cou
基于PyTorch的LSTM语言模型（Language Model）中字典（Vocabulary）大小限制（例如5000以内）的基本方法
qysh123的专栏
05-31 1307
这个标题比较长，其实需求很明确：在一些最简单的PyTorch的语言模型model中，原项目有时候并没有提供限制Vocabulary大小的功能，但这个又是大家常见的需求，所以我用最简单的方式总结一下： 在这里给出的例子是可以直接运行的： https://github.com/yunjey/pytorch-tutorial/tree/master/tutorials/02-intermediate/language_model 但是我们可以看到，其原有的data_utils.py文件里并没有提供限制Voc
构建文本数据集（tokenize、vocab）
weixin_46217398的博客
02-24 3565
构建文本数据集（tokenize、vocab）构建文本数据集文本清洗和读取tokenize定义计数函数定义vocab类 根据李沐老师的课做的记录。 构建文本数据集 文本数据集可以将其看作一串单词序列或者字符序列。 构建时一般有以下几个步骤。 文本清洗（比如去除乱码和标点符号、当然在很多时候并不会去掉标点符号）。 将文本存入内存。 将文本拆分成词或者字符。 建立词汇表和对应索引。 文本清洗和读取 这里使用课上提到的《time machine》 百度网盘链接 提取码：pypt 读取文本 只保留字母并统一成
6生成token怎么弄_图像生成文本 基础框架
weixin_39814093的博客
12-03 497
1204204 最近一直在接触图像生成文本这个东西，看了一些相关的论文，也运行过github上大神们的代码，特别是densecap（密集描述网络），觉得很有意义。到了自己下手准备搭建并一定程度复现框架时，感觉还是有一些棘手。但是总得踏出第一步，理解一个相对简单的框架，并在后续在其基础上进行改变并完善，这样的路线应该会好一点。环境：python3.6 tensorflow-1.13.1 -...
python集合：键值的添加，获得文件中相同字符出现的次数， counts = {}，counts.get(word,0)
weixin_42800007的博客
08-24 1万+
代码：（简单易懂，能够获得文件中相同字符出现的次数） txt = &quot;a b c d a b c a b a e&quot; words = txt.split() print(words) counts = {} for word in words: counts[word] = counts.get(word,0) + 1 #能够获得键对应的值 print(list(counts.ite...
[nlp]问答摘要与推理 : 构建vocab词典
心宝的博客
11-23 1619
P.S.代码之后传到github , blog里只总结方法。 1. 分词方法选择 除了jieba分词，还有哈工大的等。下为jieba分词的例子，可以使用jieba.load_userdict(‘user_dict.txt’)载入自定义词典（一词一行），避免被分词。 ...
getword（）从输入中读取下一个单词或字符
yjysunshine的博客
09-09 5324
《C程序设计语言》6.3 getword()函数，从输入总读取下一个单词或字符 #include &lt;stdio.h&gt; #include &lt;ctype.h&gt; #define MAXWORD 100 #define MAXLEN 1000 /*从输入中读取下一个单词或字符*/ char *getword(char *word, int lim); char getch();...
vocab 文本_NLP | 文本特征向量化方法
weixin_28730353的博客
12-30 565
自然语言处理（五）——实现机器翻译Seq2Seq完整经过
李英俊小朋友
04-03 5679
参考书 《TensorFlow：实战Google深度学习框架》（第2版） 我只能说这本书太烂了，看完这本书中关于自然语言处理的内容，代码全部敲了一遍，感觉学的很绝望，代码也运行不了。 具体原因，我也写过一篇博客diss过这本书。可是既然学了，就要好好学呀。为了搞懂自然语言处理，我毅然决然的学习了网上的各位小伙伴的博客。这里是我学习的简要过程，和代码，以及运行结果。大家共勉。 参考链接...
【自然语言处理】-jieba库学习笔记（一）
SUOLONG1的博客
04-27 1575
jieba.cut import jieba L = list(jieba.cut('大家好，我是勤奋努力的野指针')) 分词效果还是很不错滴 ['大家', '好', '，', '我', '是', '勤奋努力', '的', '野', '指针'] 把分好的词和字整理到文档里面 （整理了孤勇着里面的一段歌词） import jieba L = list(jieba.cut('大家好，我是勤奋努力的野指针')) vocab = {} # 词 cs = {} # 字 text = .
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值