pytorch
kiwi_Fung
个人网站: kiwi-fung.win
展开
-
Pytorch Dataloader OSError: Too many opened files error.
在使用pytorch dataloader 有时候会爆OSError的问题可能是每一个batch的形成的时候就已经超过了系统的打开文件的数量要么提高系统的打开的文件的数量先查看系统设置 ulimit -n设置新的daxiao ulimit -n xxxx要么就设置pytorch使用系统的限定import torch.multiprocessing torch.multiproces...原创 2020-04-30 11:17:48 · 2523 阅读 · 0 评论 -
Pytorch Reproducity(复现问题)
可复现性是炼丹所必要的。很多的blog都提到说要在训练前设定好 各种随机种子。 torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # if you are using multi-GPU. np.random.seed(seed) # Num...翻译 2020-04-26 17:11:25 · 363 阅读 · 0 评论 -
Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggered
Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggeredtensorflow中写代码麻烦,pytorch写起来简单,但是有发现bug,因为是框架内的问题就无法修改。在确定output已经使用了sigmoid,确定了label和logits都是[0,1]BCEloss 在...原创 2020-02-04 12:29:57 · 1354 阅读 · 1 评论 -
预训练Pytorch模型跨python2/3版本读入的编码问题
当想读入现有的模型,而且并不是同意台电脑预训练的模型,而且需要跨python版本,就会出现下面的情况。官方也有issue说这个, 里面的方法我并没有解决问题上面的方法读出来只是一个int,至于为什么还没弄清。虽然官方说已经在写好patch,但是大概没有在现有版本中release. github.request这其实是python 2/3 对于str的编码方式的差别的问题。源码中的注...原创 2019-03-06 16:07:16 · 1896 阅读 · 0 评论 -
Pytorch 自定义子Module .cuda() tensor失败的问题
最近在刚从tensorflow转入pytorch,对于自定义的nn.Module 碰到了个问题,即使把模组 modle=Model().cuda(),里面的子Module的parameter都没有被放入cuda,导致输入是torch.cuda.FloatTensor,但是比如CNN的weight却还是torch.FloatTensor(当然最粗暴的方法就是直接在子模组里面都用了 .cuda()...原创 2019-03-21 10:35:17 · 3138 阅读 · 1 评论