![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
小妖精Fsky
这个作者很懒,什么都没留下…
展开
-
transformer 中 tokenizer.tokenize() 和 tokenizer.encoder()
tokenizer.tokenize() :使用 tokenize() 函数对文本进行 tokenization之后,返回的分词的 token 词tokenizer.encoder():encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示...原创 2020-01-05 16:52:06 · 8332 阅读 · 1 评论 -
pytorch中的repeat()
这两天写程序中需要,查到了一个非常好用的函数,烂笔头比好记性好用,记录下:import torchx = torch.tensor([1, 2, 3])print(x.repeat(4))print("###################################")print(x.repeat(4, 1))运行结果如下:import torchx = torch.te...原创 2019-12-16 20:47:09 · 4792 阅读 · 3 评论 -
pytorch中的一些方法用法集锦
pack_padded_sequence和pad_packed_sequence在 看源码的时候看到的,不懂啥意思,特意冲浪了番,记录于此。https://www.cnblogs.com/sbj123456789/p/9834018.html这个网址给出了详细的前因后果,但是我觉得还不够明了,想要好好写下。稍等import torchimport torch.nn as nna = t...原创 2019-11-02 14:20:43 · 434 阅读 · 0 评论 -
pytorch关于随机种子的问题
import torchseed = 2018torch.manual_seed(seed) # 为CPU设置种子用于生成随机数torch.cuda.manual_seed(seed)#为当前GPU设置随机种子;如果使用多个GPU,应该使用torch.cuda.manual_seed_all()为所有的GPU设置种子。a=torch.rand([1,5])b=torch.rand([1,...原创 2019-10-22 17:06:37 · 1201 阅读 · 0 评论 -
pytorch查看网络中的参数
可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数(包括通过继承得到的父类中的参数) 可示例代码如下: params = list(model.named_parameters()) (name, param) = params[28] print(name) print(param.grad) print...原创 2018-07-11 14:40:11 · 25660 阅读 · 0 评论 -
torch.nn.dropout和torch.nn.dropout2d的区别
# -*- coding: utf-8 -*-import torchimport torch.nn as nnimport torch.autograd as autogradm = nn.Dropout(p=0.5)n = nn.Dropout2d(p=0.5)input = autograd.Variable(torch.randn(2, 6, 3)) ## 某一通道全部为0...原创 2019-03-19 19:28:42 · 24901 阅读 · 3 评论 -
pytorch中的transpose()
import torchbatch_index = torch.randn(2, 3, 4)batch_es = batch_index.transpose(0, 1)batch_ee = batch_index.transpose(1, 0)print(batch_index)print("&&&&&&&&&&am...原创 2019-03-20 10:38:40 · 15949 阅读 · 0 评论 -
DistributedParallel的资料集锦
再看pytorch-transformer的示例,里面涉及了分布式训练和预测,之前对此一无所知,学起来https://oldpan.me/archives/pytorch-to-use-multiple-gpus原创 2019-09-15 15:44:01 · 280 阅读 · 0 评论 -
Pytorch常用函数解析(一)
torch模块下的数学操作符torch.numel() 返回一个tensor变量内所有元素个数,可以理解为矩阵内元素的个数torch.squeeze() 对于tensor变量进行维度压缩,去除维数为1的的维度。例如一矩阵维度为A*1*B*C*1*D,通过squeeze()返回向量的维度为A*B*C*D。squeeze(a),表示将a的维数位1的维度删掉,squeeze(a,N)表示,如果第...转载 2018-05-26 13:46:42 · 1886 阅读 · 0 评论 -
pytorch中带下划线的函数总结
有哪些?怎么用,总结于此? fill_() copy_()原创 2018-05-26 13:43:55 · 2195 阅读 · 0 评论 -
pytorch版的bilstm+crf实现sequence label
在理解CRF的时候费了一些功夫,将一些难以理解的地方稍微做了下标注,隔三差五看看加强记忆import torchimport torch.autograd as autogradimport torch.nn as nnimport torch.optim as optimdef to_scalar(var): #var是Variable,维度是1 # returns a python原创 2017-11-29 14:15:14 · 13765 阅读 · 3 评论 -
Tensor, Variable 和Parameter
学习pytorch的过程留意到的三种类型:torch.FloatTensortorch.autograd.variable.Variabletorch.nn.parameter.ParameterTensor的创建:import torchimport torch.autograd as autogradx = torch.randn((2, 2))print(type(x))Tens原创 2017-11-17 20:41:23 · 4933 阅读 · 0 评论 -
pytorch中bilstm-crf部分code解析
解析119行到132行 关于self.transition的理解原创 2017-11-20 10:18:39 · 7463 阅读 · 1 评论 -
pytorch加载已训练好的word-embedding
十一的时候已将pytorch的tutorial看过了,但是并没有用pytorch做什么项目,一直以来都是用tensorflow搭建框架,但是因为其是静态网络,不能处理if…else等等操作,于是转而用pytorch实现,将遇到的一些问题放在此处,因为脑子不好使啊,哈哈 如果是随机初始化的向量,是这么定义的:self.word_embeds = nn.Embedding(vocab_size, em原创 2017-11-21 18:58:44 · 16973 阅读 · 4 评论 -
pytorch的切片
torch.index_select()的示例x = torch.randn(3, 4)print(x)indices = torch.LongTensor([0, 2])y = torch.index_select(x, 0, indices)print(y)z = torch.index_select(x, 1, indices)print(z)运行结果: 另一种示例:embedd原创 2017-11-25 10:54:48 · 8840 阅读 · 0 评论 -
pytorch中example解析
例子来源于官网60分钟教程中网络搭建部分:import torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch.autograd import Variableclass Net(nn.Module): def __init__(self): super(Net, self).__init__原创 2017-11-17 20:12:57 · 1945 阅读 · 0 评论 -
pytorch中contiguous()
contiguous:view只能用在contiguous的variable上。如果在view之前用了transpose, permute等,需要用contiguous()来返回一个contiguous copy。 一种可能的解释是: 有些tensor并不是占用一整块内存,而是由不同的数据块组成,而tensor的view()操作依赖于内存是整块的,这时只需要执行contiguous()这个函数...原创 2018-04-29 15:15:18 · 42479 阅读 · 4 评论 -
pytorch实现列向量变矩阵
import torchx = torch.Tensor(3,1)print(x)y = torch.Tensor(3,3)print(y.copy_(x))print(id(x), id(y))代码运行如下: 借鉴的地址: https://blog.csdn.net/hungryof/article/details/51802829 中tensor的复制...原创 2018-05-26 11:32:54 · 12223 阅读 · 0 评论 -
pytorch中next_functions
import torchimport torch.autograd as autograd# Variables wrap tensor objectsx = autograd.Variable(torch.Tensor([1., 2., 3]), requires_grad=True)# You can access the data with the .data attribute#原创 2017-11-17 20:14:54 · 2957 阅读 · 2 评论