Pytorch
Better Bench
CS博士;研究领域:类脑计算、连续学习、AI、数据挖掘、自然语言处理、数学建模,特长网球4.0
展开
-
Dropout和R-Dropout的使用技巧
1 引言在ML中存在两类严重的问题:过拟合和学习时间开销大当过拟合时,得到的模型会在训练集上有非常好的表现,但是对新数据 的预测结果会非常的不理想。为了解决过拟合问题,通常会采用训练过个模型来解决单模过拟合的问题。但又会带来时间开销大的问题。Dropout就很好的解决了这个问题,在单模内防止过拟合。对于时间开销大的地方是梯度下降,学习率衰减可以解决梯度下降中时间开销的问题。Dropout是在训练过程中,随机地忽略部分神经元,即是在正向传播的过程中,这些被忽略的神经元对下游神经元的贡献暂时消失,在反向传原创 2021-10-03 11:39:52 · 1364 阅读 · 1 评论 -
【Pytorch】解决使用BucketIterator.splits警告volatile was removed and now has no effect. Use `with torch.no_g
问题使用data.BucketIterator.splits去封装训练集和验证集,在遍历的时候出现警告UserWarning: volatile was removed and now has no effect. Use with torch.no_grad(): instead. return Variable(arr, volatile=not train)from torchtext import datatrain_iter,valid_iter= data.BucketIterato原创 2021-07-21 17:46:54 · 1113 阅读 · 3 评论 -
【Pytorch】Expected hidden[0] size (2, 136, 256), got [2, 256, 256]
问题我在使用pytorch的 LSTM (RNN) 构建多类文本分类网络时遇到此错误,网络结构没有问题,能够运行起来,但是运行到几个batch后就报错Expected hidden[0] size (2, 136, 256), got [2, 256, 256]分析该错误是由于的训练数据不能被批量大小整除造成的。前面的batch都是256个,但是最后一个batch不足256,只有136个。假设训练数据有 100个,batch大小为 16,划分为6个batch,最后一个batch将只有 4 个(100原创 2021-07-21 17:06:09 · 4530 阅读 · 0 评论 -
【Pytorch】解决Fan in and fan out can not be computed for tensor with fewer than 2 dimensions
问题使用TEXT.build_vocab时报错Fan in and fan out can not be computed for tensor with fewer than 2 dimensionsvectors.unk_init = init.xavier_uniform_ # 没有命中的token的初始化方式TEXT.build_vocab(train, min_freq=5, vectors=vectors)原因是torchtext版本太高,不支持一维的词向量,仅仅支持二维以上的原创 2021-03-17 22:07:10 · 2365 阅读 · 0 评论 -
【Pytorch】解决cuDNN error: CUDNN_STATUS_NOT_INITIALIZED
问题使用model.cuda()报错Exception has occurred: RuntimeError cuDNN error: CUDNN_STATUS_NOT_INITIALIZED解决使用model.to(device替代),以下0表示GPU的编号,可以在终端下用nvidia-smi查看device = torch.cuda.set_device(0)#0表示GPU的代码model = model.to(device)...原创 2021-03-17 21:18:40 · 64234 阅读 · 16 评论 -
【Deepin 20系统】Linux系统安装Pytorch、Torch
1 前期准备创建conda环境conda create -n Pytorch python=3.6进入conda环境conda activate Pytorch查看cuda版本nvcc -V输出:Cuda compilation tools, release 10.0, V10.0.130表示CUDA版本是10.02 安装步骤(1)进入官网,查找对应版本命令(2)执行安装pip install torch torchvision torchaudio...原创 2021-03-17 20:52:19 · 414 阅读 · 0 评论 -
【Pytorch】查看GPU是否可用
使用pytorch,可以使用如下语句查询GPU是否可用:import torchprint(torch.__version__) # 查看torch当前版本号print(torch.version.cuda) # 编译当前版本的torch使用的cuda版本号print(torch.cuda.is_available()) # 查看当前cuda是否可用于当前版本的Torch,如果输出True,则表示可用...原创 2021-03-08 22:18:37 · 24343 阅读 · 0 评论