炼丹随笔
文章平均质量分 51
漫浸天空的雨色
The destination of creating human is let them construct Silicon-based life.
展开
-
one of the variables needed for gradient computation has been modified by an inplace operation:
今天跑网络在进行loss.backward()的时候,出现了如下错误:one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [2, 64]], which is output 0 of ViewBackward, is at version 21;expected version 20 instead. Hint: enabl原创 2021-01-07 16:52:12 · 2801 阅读 · 0 评论 -
RuntimeError range.second - range.first == t.size() INTERNAL ASSERT FAILED at .XXXX
今天跑网络的时候遇见了这么一个错误:Exception has occurred: RuntimeErrorrange.second - range.first == t.size() INTERNAL ASSERT FAILED at .XXXX , please report a bug to PyTorch. inconsistent range for TensorList output (copy_range at .XXX)在百度和bing找了半天没找到相关解释,最后还是google原创 2021-01-07 16:18:05 · 1381 阅读 · 1 评论 -
关于nn.embedding的维度的定义,函数的理解,一些需要注意的点
关于nn.embedding的维度的定义,函数的理解,一些需要注意的点定义首先简单介绍一下nn.embedding,函数调用形式如下torch.nn.Embedding(num_embeddings,embedding_dim,padding_idx=None,max_norm=None,norm_type=2.0,scale_grad_by_freq=False,spar...原创 2020-03-09 15:35:04 · 39189 阅读 · 1 评论 -
关于pytorch网络模型可视化函数make_dot的一些问题
关于pytorch网络模型可视化函数make_dot的一些问题首先,放上make_dot函数的源码(实验室同门给的,出处不详= =)def make_dot(var, params=None): """ 画出 PyTorch 自动梯度图 autograd graph 的 Graphviz 表示. 蓝色节点表示有梯度计算的变量Variables; 橙色节点表...原创 2020-03-02 17:42:09 · 7391 阅读 · 3 评论 -
pytorch神经网络模型会自动初始化嘛?
pytorch神经网络模型会自动初始化嘛?搭好的神经网络,可以自定义初始化方法,如下方式:from torch.nn import init#define the initial function to init the layer's parameters for the networkdef weigth_init(m): if isinstance(m, nn.Conv...原创 2020-03-01 19:41:06 · 4089 阅读 · 1 评论 -
关于loss.backward()以及其参数retain_graph的一些坑
关于loss.backward()以及其参数retain_graph的一些坑首先,loss.backward()这个函数很简单,就是计算与图中叶子结点有关的当前张量的梯度使用呢,当然可以直接如下使用 optimizer.zero_grad() 清空过往梯度; loss.backward() 反向传播,计算当前梯度; optimizer.step() 根据梯度更新网...原创 2020-03-01 19:33:37 · 55136 阅读 · 7 评论 -
关于 Pytorch 学习的一些小困惑的理解
小记如题,本文用于总结学习Pytorch的一些小困惑,大的问题,可能会拉出来单写一篇博客,没解决的问题也会暂且放进来,解决了之后再补上去解决方法~~ 目前本人处于菜鸡阶段,深度学习的理论储备有了一些,但还没有真正完整独立的完成一个项目,急需真枪实弹的操练一把,不能继续咸鱼下去了_(T-T」 ∠)_下一周就开始正式上(网)课了,后面争取每天都能遇到一个有收获的问题,并且在这里进行总结~ 大家...原创 2020-02-27 22:57:32 · 1827 阅读 · 0 评论