torch
chnhbhndchngn
这个作者很懒,什么都没留下…
展开
-
PyTorch中permute的用法 根据指定的维度进行转置
pytorch 中的permute 就像是numpy中的transpose()函数一样, 根据指定的维度进行转置, 我们这里跟view()进行一下对比原创 2020-07-06 21:45:16 · 1250 阅读 · 0 评论 -
关于nn.embedding的中padding_idx的含义
自然语言中使用批处理时候, 每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, 填充的数据一般是0, 这个时候, 在进行词嵌入的时候就会进行相应的处理, nn.embedding会将填充的映射为0其中padding_idx就是这个参数, 这里以3 为例, 也就是说补长句子的时候是以3padding的, 这个时候我们液晶padding_idx设为3import torchimport torch.nn as nnembed = nn.Embedding(10, 3,原创 2020-07-06 21:39:20 · 9442 阅读 · 3 评论 -
torch的池化
原创 2020-07-03 22:15:12 · 782 阅读 · 0 评论 -
torch max()函数
torch.max()返回的是两个值, 第一个是最大值, 第二个是最大值所在的索引, 一般情况,我们都是求最大值所在的索引import torcha = torch.tensor([[1, 5, 2, 1], [2, 6, 3, 8]])print(a)res, index = torch.max(a, 1)print(res)print(index)只用最大值索引求准确率:# 准确率的计算 # 100个样本, 10 个类别predict = torch.rand(100原创 2020-06-29 17:18:48 · 1390 阅读 · 0 评论 -
pytorch 中 contiguous()
好像是已经过时的函数, 在pytorch0.4之前, view()进行改变形状时, 这个变量tensor的内存必须是连续的, 否则会失败, 但是现在可以了, 举例如下:import torchx = torch.tensor([[1, 2, 0], [0, 0, 0], [0, 0, 0], [0, 2, 3]])mask = x != 0print("mask:\n", mask)x = x[mask]print("\nx:", x)print("\nx内存是否连续:", x.is_原创 2020-06-29 16:08:15 · 2010 阅读 · 0 评论 -
torch 的 F.cross_entropy
torch中的交叉熵损失函数使用案例import torchimport torch.nn.functional as Fpred = torch.randn(3, 5)print(pred.shape)target = torch.tensor([2, 3, 4]).long() # 需要是整数print(target.shape)# 交叉熵损失函数, 输入的参数是形状不一样的# predict会在其内部进行softmax操作loss = F.cross_entropy(pre原创 2020-06-29 15:55:39 · 2374 阅读 · 0 评论 -
torch 的RNN LSTM GRU
首先创造初始值这里画出图帮助理解其实对于每个单元来说 h就是输出, 这里可以看到最终两者的结果是相同但是id 不同, 在tensorflow中两者的id都是相同的真不明白torch创建的rnn单元为啥非得指明输入的x的维度, 这样的模型只能接收一定的x,而tensorflow中rnn单元对输入的维度是没有限制的, 只需指定内部的单元数量及可以了...原创 2020-06-27 17:45:01 · 425 阅读 · 0 评论 -
torch squeeze 压缩维度
原创 2020-06-27 16:09:33 · 2038 阅读 · 0 评论 -
torch.multinomial使用
在Word2vec中使用到了非相关数据的降采样方法, 其中用到了torch.multinomial方法, 这里记录一下:multinomial(input, num_samples, replacement=False)该方法主要有三个参数, 分别是输入的张量, 采样的个数, 是否有重复的数据, 采样的时候是根据输入张量的数值当做权重来进行抽样的, 数值越大, 抽到的可能性越大, 越小抽到的可能性越小, 如果是0 则不会抽到由案例可知, 输出的是出入的张量的索引值,当非零数据只有4个时原创 2020-06-23 21:34:50 · 2331 阅读 · 0 评论