![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
Decennie
Rève
展开
-
pytorch 误区
num_oov = max(torch.max(ext_src_seq - self.vocab_size + 1), 0)误区解读:ext_src_seq: [batch_size, sequence_len]self.vocab_size: 50000ext_src_seq - self.vocab_size + 1:这种运算实际上是对ext_src_seq中的每个元素进行加减运算,相当于把self.vocab_size广播成[batch_size, sequence_len]...原创 2021-11-03 19:38:23 · 176 阅读 · 0 评论 -
Pytorch repeat()和expand()区别
【Pytorch】repeat()和expand()区别转载 2021-11-01 20:55:08 · 215 阅读 · 0 评论 -
PyTorch中的contiguous
Pytorch中的Size, storage offset, stride概念PyTorch中的contiguous转载 2021-11-01 12:02:20 · 131 阅读 · 0 评论 -
pytorch scatter和scatter_详解
文章目录0. Introduction1. 定义2. 详解例1例2Reference:0. Introductionscatter() 和 scatter_() 的作用是一样的,只不过 scatter() 不会直接修改原来的 Tensor,而 scatter_() 会PyTorch 中,一般函数加下划线代表直接在原来的 Tensor 上修改1. 定义scatter(dim, index, src) 的参数有 3 个dim:沿着哪个维度进行索引index:用来 scatter 的元素索引原创 2021-10-30 12:17:09 · 415 阅读 · 0 评论 -
pytorch torch.sign()函数简介
pytorch中torch.sign()函数简介转载 2021-10-29 18:08:26 · 1150 阅读 · 0 评论 -
collate_fn 使用详解
collate_fn 参数当继承Dataset类自定义类时,__getitem__方法一般返回一组类似于(image,label)的一个样本,在创建DataLoader类的对象时,collate_fn函数会将batch_size个样本整理成一个batch样本,便于批量训练。default_collate(batch)中的参数就是这里的 [self.dataset[i] for i in indices],indices是从所有样本的索引中选取的batch_size个索引,表示本次批量获取这些样本进行训练原创 2021-10-28 12:42:11 · 12595 阅读 · 2 评论 -
Pytorch 模型中的parameter与buffer
Pytorch模型中的parameter与buffer原创 2021-08-16 12:37:09 · 138 阅读 · 0 评论 -
Pytorch torch.optim.Adam() torch.optim.AdamW()
torch.optim优化算法理解之optim.Adam()torch.AdamW优化算法+超级收敛原创 2021-08-08 13:06:26 · 15132 阅读 · 0 评论 -
Pytorch tensor.numel()获取张量元素个数
pytorch获取张量元素个数numel()的用法原创 2021-08-08 13:06:09 · 2537 阅读 · 0 评论 -
Pytorch torch.cuda中的函数
pytorch:torch.cuda中的函数原创 2021-08-08 13:05:37 · 559 阅读 · 0 评论 -
Pytorch 中的 Tensor , Variable & Parameter
Pytorch 中的 Tensor , Variable & Parameter原创 2021-08-08 13:05:14 · 174 阅读 · 0 评论 -
Pytorch with torch.no_grad torch.set_grad_enabled
[pytorch with torch.no_grad和torch.set_grad_enabled用法区别(作用是一样的)]原创 2021-08-05 05:03:30 · 1079 阅读 · 0 评论 -
Pytorch torch.nn.utils.clip_grad_norm_用于梯度裁剪
[torch.nn.utils.clip_grad_norm_用于梯度裁剪]原创 2021-08-05 05:03:00 · 692 阅读 · 0 评论 -
Pytorch torch.topk用法
pytorch torch.topk用法import torchpred = torch.randn((4, 5))print('pred是', pred, "\n")values, indices = pred.topk(2, dim=1, largest=True, sorted=True)print("values是", values, "\n")print("indices是", indices, "\n")输出:pred是 tensor([[-0.7044, -0.3443,原创 2021-08-05 05:00:54 · 265 阅读 · 0 评论 -
Pytorch torch.multinomial()用法
pytorch torch.multinomial()import torchw = torch.arange(12,dtype=torch.float).view(3,4)print(w)out = torch.multinomial(w,2)print(out)tensor([[ 0., 1., 2., 3.], [ 4., 5., 6., 7.], [ 8., 9., 10., 11.]])tensor([[2, 1], [原创 2021-08-05 05:00:27 · 869 阅读 · 0 评论 -
python json模块
python json模块 超级详解原创 2021-08-05 04:59:57 · 172 阅读 · 0 评论 -
Pytorch register_buffer()详解
pytorch register_buffer()详解原创 2021-08-04 09:55:30 · 2135 阅读 · 0 评论 -
Pytorch torch.triu()详解
torch.tril详解转载 2021-08-04 09:54:27 · 1548 阅读 · 0 评论 -
PyTorch tensor 的求导机制,在不同设备之间的转换,神经网络中权重的更新等内容
浅谈 PyTorch 中的 tensor 及使用原创 2021-08-03 18:31:50 · 175 阅读 · 0 评论 -
Pytorch tensor.detach()方法 tensor.data属性
pytorch中的.detach和.data深入详解原创 2021-08-03 18:31:28 · 394 阅读 · 0 评论 -
PyTorch F.dropout为什么要加self.training 以及与nn.dropout()的区别
PyTorch的F.dropout为什么要加self.training原创 2021-08-03 18:31:06 · 676 阅读 · 1 评论 -
Pytorch tensor.copy_()
将src中的元素复制到tensor中并返回这个tensor; 两个tensor应该有相同shape原创 2021-08-03 18:30:47 · 1014 阅读 · 0 评论 -
Pytorch nn.Embedding.weight初始化分布
nn.Embedding.weight初始化分布原创 2021-08-03 18:30:23 · 645 阅读 · 0 评论 -
Pytorch 深度学习中的logits是什么意思
深度学习源码中经常出现的logits其实和统计中定义的logit=log(p/1-p)没什么太大关系,就是定义的神经网络的一层输出结果。该输出一般会再接一个softmax layer输出normalize 后的概率,用于多分类。原创 2021-08-03 18:29:36 · 2648 阅读 · 1 评论 -
Pytorch gru.flatten_parameters() lstm.flatten_parameters()
UserWarning:RNN module weights are not part of single contiguous chunk of memory.原创 2021-08-03 18:29:05 · 1268 阅读 · 0 评论 -
Pytorch 数据加载—Dataset和DataLoader详解
Pytorch数据加载——Dataset和DataLoader详解PyTorch 源码解读之 torch.utils.data:解析数据处理全流程DataLoader只是根据index从DataSet中取出数据而已,数据内容是什么形式DataLoader并不关心原创 2021-08-01 11:57:42 · 1494 阅读 · 0 评论 -
Pytorch 模型存储及加载 torch.save() model.load_state_dict(torch.load(PATH)) 保存checkpoint
Pytorch 模型存储及加载 torch.save() model.load_state_dict(torch.load(PATH)) 保存checkpoint原创 2021-08-01 10:10:02 · 1244 阅读 · 0 评论 -
PyTorch 六个学习率调整方法 torch.optim.lr_scheduler
PyTorch的六个学习率调整方法原创 2021-08-01 08:28:47 · 418 阅读 · 0 评论 -
pytorch nn.Module类及其参数详解 state_dict和parameters
pytorch nn.Module类详解Pytorch中的网络构造pytorch中文文档pytorch教程之nn.Module类详解——state_dict和parameters两个方法的差异性比较import torchimport torch.nn.functional as Ffrom torch.optim import SGDclass MyNet(torch.nn.Module): def __init__(self): super(MyNet, self原创 2021-08-01 07:38:28 · 974 阅读 · 0 评论 -
Pytorch torch.sum() torch.prod() torch.mean() torch.var() torch.max() torch.min()
PyTorch 常用方法总结2:常用Tensor运算(均值、方差、极值、线性插值……原创 2021-08-03 18:29:53 · 1379 阅读 · 0 评论 -
Pytorch F.cross_entropy详解
pytorch F.cross_entropy详解原创 2021-07-31 16:24:49 · 1524 阅读 · 0 评论 -
Pytorch .apply()模块参数初始化
pytorch .apply()模块参数初始化原创 2021-07-31 16:22:40 · 1206 阅读 · 2 评论 -
Pytorch glue激活函数详解
glue激活函数详解原创 2021-07-31 16:21:09 · 1444 阅读 · 0 评论 -
PyTorch LSTM的参数详解以及输出详解
双向LSTM中 output, h_n, c_n 状态详解LSTM详解(经典之作)class torch.nn.LSTM(*args, **kwargs)参数列表input_size:x的特征维度hidden_size:隐藏层的特征维度num_layers:lstm隐层的层数,默认为1bias:False则bih=0和bhh=0. 默认为Truebatch_first:True则输入输出的数据格式为 (batch, seq, feature)dropout:除最后一层,每一层的输出都进行d原创 2021-07-31 16:20:30 · 1991 阅读 · 0 评论 -
Pytorch tensor.expand()用法
pytorch中的expand()和expand_as()函数expand()函数只能将size=1的维度扩展到更大的尺寸,如果扩展其他size()的维度会报错。原创 2021-07-31 06:40:21 · 696 阅读 · 0 评论 -
Pytorch torch.mul、torch.mm、torch.bmm、torch.matmul的区别
torch.mul、torch.mm、torch.bmm、torch.matmul的区别torch.matmul()用法介绍结论从官方文档可以看出,mm只能进行矩阵乘法,也就是输入的两个tensor维度只能是(n×m)和(m×p)( n × m ) 和( m × p )(n×m)和(m×p)bmm是两个三维张量相乘, 两个输入tensor维度是(b×n×m)和(b×m×p)(b×n×m) 和(b×m×p)(b×n×m)和(b×m×p), 第一维b代表batch size,输出为(b×n×p)(b原创 2021-07-31 01:00:15 · 503 阅读 · 0 评论 -
Pytorch tensor.view()和terson.reshape(),以及contiguous()为何存在
pytorch结构函数tensor.view()和terson.reshape(),以及contiguous()为何存在关于连续contiguous()目前pytorch只要是transpose()和permute()这两个函数用过后,tensor都会变得不再连续,就不可以使用view().调用contiguous()时,会强制拷贝一份tensor,让它的布局和从头创建的一毛一样。(这一段看文字你肯定不理解,你也可以不用理解,有空我会画图补上)你只需要记住了,使用view()之前,只要使用了tra原创 2021-07-31 00:31:54 · 142 阅读 · 0 评论 -
Pytorch masked_fill_() masked_fill()
pytorch masked_fill方法简单理解原创 2021-07-30 08:36:46 · 377 阅读 · 0 评论 -
Pytorch nn 与 nn.functional 有什么区别?
PyTorch 中,nn 与 nn.functional 有什么区别?原创 2021-07-30 08:35:32 · 87 阅读 · 0 评论 -
Pytorch torch.bmm专门用于三维矩阵的乘法
torch.bmm专门用于三维矩阵的乘法原创 2021-07-30 08:35:12 · 1504 阅读 · 0 评论