pytorch
可以调素琴
NLP[KG-dialogue]
展开
-
pytorch随机张量
吐槽torch,这些基础的照搬numpy就可以了,没必要另起炉灶了吧转载(https://blog.csdn.net/manduner/article/details/87343269)转载 2019-06-28 19:47:59 · 2090 阅读 · 0 评论 -
torch.max()
注:个人笔记,深入学习还请看pytorch官方文档2019-08-22调用标准形式a的size是(3, 2,3),此例中torch.max中按照第二维为基础来选取,选择哪一维,那么idx中的哪一维便变成1,但函数内部会自动squeeze,如果想保持原有维数,可以设置参数keepdim = True,上例中idx.size便是由(3, 1,3)变为(3, 3)。具体分析一下,idx第一...原创 2019-08-22 21:46:47 · 1431 阅读 · 0 评论 -
pytorch--load()模型参数加载
加载模型,一部分用于测试阶段,主要知识点在于数据加载的问题【torch.device】官网链接1官网链接2不解释save代码示例:>>> torch.load('tensors.pt')# Load all tensors onto the CPU>>> torch.load('tensors.pt', map_location=torch.dev...原创 2019-08-09 23:14:23 · 5804 阅读 · 0 评论 -
pytorch - contiguous函数
类似于deep copy1,转载转载 2019-08-09 19:09:18 · 222 阅读 · 0 评论 -
nlp中mask(掩码)操作总结--解决语句输入长短不一问题
注:看了许多种任务,机器翻译,实体命名识别,对话系统。有趣的是虽然网络结构都大同小异基本上都是seq2seq,但是里面的语句处理部分每位作者真是—八仙过海各显神通【其实算法思想都差不多,只不过调用的函数五花八门】对流程熟悉的人应该都了解在整个训练过程中为了提高速度,都会采用mini_batch。随之而来的问题便是一个batch中的句子不可能长度都相等,这样就给数据的规范化带来了不便,这是便需要...原创 2019-07-27 22:40:19 · 4226 阅读 · 0 评论 -
torch.cat和torch.max[笔记]
注: 这是个人笔记,想了解的还是去torch官网吧,这一类numpy接口,用的时候还是单独测试一下,防止出错torch.maxtorch.max(input, dim, keepdim=False, out=None) -> (Tensor, LongTensor)用的较多的是不同于传统的max,此函数返回相应维度的最大值及其索引(values, indices),如果keepdim ...原创 2019-07-26 21:17:41 · 489 阅读 · 0 评论 -
beam-search及其torch实现
注: 来源于cs224n2019-a4作业代码NG视频介绍我的另一篇博客beam-search为一种解码算法,应用于test部分,在train中不使用因为train都会有一个正确答案,并不需要特地的去选择。思想~~最短路径,一定要理解它与维特比算法以及greedysearch之间的区别,这里不多叙述。流程以【seq2seq-attention】为例,beam-size= 3,输入X首先...原创 2019-08-03 17:18:13 · 3566 阅读 · 0 评论 -
pytorch- .masked_fill_
masked_fill_(mask, value)掩码操作Fills elements of self tensor with value where mask is one. The shape of mask must be broadcastable with the shape of the underlying tensor.参数mask (ByteTensor) – the b...原创 2019-06-29 11:56:31 · 4985 阅读 · 0 评论 -
pack/pad_packed_sequence
2019-06-29上午cs224n assignment4A 为什么要进行pack?!就是对pad_token的删除及填充操作,避免rnn计算不必要的pad-token1,pack_padded_sequence(删去pad-token)-官网链接1_a,具体形式torch.nn.utils.rnn.pack_padded_sequence(input, lengths, batch_...原创 2019-06-29 11:27:12 · 1102 阅读 · 2 评论 -
pytorch.unsqueeze及bmm函数
2019-06-28晚cs224n-winter2019-assignment4用pytorch实现seq2seq-attention NMT Model(神经机器翻译模型)unsqueezea = torch.randn(5,4)for i in range(-3,3): b = torch.unsqueeze(a,dim=i) print('{} _th size:{...原创 2019-06-28 23:14:29 · 1561 阅读 · 0 评论 -
torch.gather()
2019-08-22注:一般与max等连用,处理分类问题(索引)转:https://blog.csdn.net/edogawachia/article/details/80515038转载 2019-08-22 21:52:44 · 346 阅读 · 0 评论