pytorch
Leonopteryxw
前端开发
展开
-
pytorch入门——nn.Module使用
入门——nn.Module使用在pytorch框架下搭建神经网络是需要定义一个类并继承torch.nn.Module模块的,大概结构如下:class Model(nn.Module): def __init__(self): super().__init__() ... def... return def forward(self, inputdata): ... return原创 2020-12-22 21:46:39 · 1407 阅读 · 1 评论 -
仅80行,这可能是你见过最简单的attention。
仅80行,这可能是你见过最简单的attention这篇Markdown是用尽可能简单的步骤做一个文本的二分类任务,目的在于展现attention机制的实现流程,模型使用Bi-GRU+Attention机制,在只考虑batch_size为1的情况下,把Bi-GRU最后一层的hidden拼接起来当做query,每一个step的output合并成一个matrix当做key和value的值。这里不再对Bi-GRU和Attention的原理进行解释,网上有很多很经典的解释,非常好理解。attention原创 2020-12-13 22:18:06 · 284 阅读 · 0 评论 -
torchtext.experimental.functional.sequential_transforms的用法
torchtext.experimental.functional.sequential_transforms的用法这个函数的作用是对多个函数进行“打包”,也就是说把多个函数集合到一起,只需要调用一次,就会按顺序执行。语法:sequential_transforms(*transforms)其中参数是需要“打包”的函数名,可以是任意数量的,sequential_transforms函数的源码如下:def sequential_transforms(*transforms): def fu原创 2020-10-14 21:51:17 · 215 阅读 · 4 评论 -
torchtext.experimental.functional. vocab_func函数的原理及其应用
torchtext.experimental.functional. vocab_func函数的原理及其应用这个函数的主要通过输入语料库对应的vocab和一个具体的句子,把句子变成vocab索引列表的形式。当然还可以根据源码规则拓展一些其他的应用。首先找到这个函数对应的源码def vocab_func(vocab): def func(tok_iter): return [vocab[tok] for tok in tok_iter] return func只有短短原创 2020-10-09 23:11:56 · 309 阅读 · 1 评论 -
torchtext.data.utils.get_tokenizer的用法
torchtext.data.utils.get_tokenizer的用法get_tokenizer函数的作用是创建一个分词器,将语料喂给相应的分词器,可以根据不同分词函数的规则完成分词,分词器支持’basic_english’,‘spacy’,‘moses’,‘toktok’,‘revtok’,'subword’等规则。其中basic_english是可以直接使用的,spacy需要使用到spacy模块,moses需要使用到sacremoses模块,toktok需要使用到nltk模块,revtok和su原创 2020-10-08 18:19:45 · 4377 阅读 · 0 评论 -
torchtext.data.utils.ngrams_iterator的使用
torchtext.data.utils.ngrams_iterator的使用语法:ngrams_iterator(token_list,ngrams)其中token_list是一个句子分词后,由词构成的列表,ngrams是一个数,可以看作对词列表加窗,窗口大小为ngrams对应的数。输出是一个可迭代对象。需要注意的是,ngrams_iterator会根据ngrams的大小返回所有比ngrams小的窗构成的词,当ngrams=3时,会返回ngrams=3,ngrams=2和ngrams=1的结果。原创 2020-10-05 18:39:52 · 321 阅读 · 1 评论