pytorch
VerdureChen
这个作者很懒,什么都没留下…
展开
-
使用pytorch进行BERT inference时遇到的一些问题
1. 数据集过大情况下,使用np.memmap内存映射读取大文件,在前几次程序运行时无错误,今天忽然报错:ValueError: cannot mmap an empty file. 这句话的意思是无法映射空文件,检查原因,发现是需要映射的大文件目录发生了改变,但并未在程序中修改该文件的路径导致。 2. GPU并行进行BERT inference的设置:由于数据量达到百万条,inference的速度相当慢,因此采用多GPU并行对数据进行测试,这里参考了这篇文章的做法,不同之处在于 if torch.c原创 2020-09-16 20:55:37 · 999 阅读 · 0 评论 -
pytorch使用DataParallel进行GPU并行训练,以及AttributeError: 'DataParallel' object has no attribute '**'错误的解决
请让模型奔跑 首先由于GPU暂时没有爆显存的担心,主要是想把程序尽快跑起来,所以参考了https://zhuanlan.zhihu.com/p/86441879的方法,在他的文章中,不仅对单机多GPU的情况进行了介绍,同时也给出了平衡显存的方法,以及多机多GPU的方法,并且介绍很简洁易懂。 在我的程序中,主要用到的是最简单的情况,步骤如下: 使用单机多卡进行训练,设置程序可见的GPU编号: ...原创 2020-05-07 12:28:51 · 4497 阅读 · 3 评论