![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Debug
文章平均质量分 61
CQU-XJTU-Mr. Wu
这个作者很懒,什么都没留下…
展开
-
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU)1. 问题描述2. 解决办法1. 问题描述Pytorch,GPU显存明明够用,为什么还报错呢?发现此时减小batch_size 同样是没用的。根本原因是代码指定的GPU与实际使用的GPU不一致。你以为代码在1上跑,实际上是在已经有代码运行的其他gpu跑,因此显示显存不足。2. 解决办法让自己指定的gpu与实际使用的对应一致即可。比如,现在0,2,3号GPU已经在原创 2021-02-24 23:39:28 · 9716 阅读 · 1 评论 -
Pytorch 中文语言模型(Bert/Roberta)进一步预训练(further pretrain)
Pytorch 中文语言模型(Bert/Roberta)进一步预训练(further pretrain)1.Motivation2.相关链接3. 具体步骤3.1 依赖项3.2 数据格式3.3 代码运行4. 结果4.1 完整的目录结构4.2 训练过程4.3 训练结果5 .附录1.MotivationBert是在大规模的语料下进行MLM训练得到的结果。然而,在具体的任务下,再在自己新的数据集进行finetune的效果并不会特别好。因此,需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练,原创 2020-12-31 19:55:46 · 5033 阅读 · 2 评论 -
Tensorflow:UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed
Tensorflow:UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed1.问题2.解决办法1.问题采用Tensorflow 1.14.0报错:2.解决办法降低Tensorflow的版本,我的代码会出现更多问题,也尝试过GPU资源分配的方法,均不行最终解决办法:将原代码:os.environ["CUDA_VISIBLE_DEVICES"] = "0"修改为:os原创 2020-07-08 20:52:18 · 193 阅读 · 0 评论