GPU
文章平均质量分 72
uestc_Venn
忆阻器、半导体物理、二维纳米材料、神经网络、深度学习、机器学习、算法设计等
展开
-
使用GPU加速大数据列表的条件掩码运算的方法(基于PyTorch框架)
当我们需要对一个较大规模列表(list)按照一定条件对其中的元素进行提取并进行特定运算时,可以尝试条件掩码的方法,即预先生成掩码算子,再将掩码算子作用到原列表后对列表内的数据进行提取。这个过程在CPU上是可行的,但当数据量非常大时(例如将神经网络模型参数保存到列表中,此时的列表长度通常是上万甚至上百万个的),会使得CPU承受很大的负担,且运算速度非常慢。下面用示例代码举例。本人在长度接近50万的原列表上进行双条件掩码操作,转移到GPU上后,相比于CPU,运算速度提升了9倍以上!原创 2023-09-20 21:43:57 · 182 阅读 · 1 评论 -
DataParallel并行运算的模型导入失败Error的解决方法——解除DataParallel封装
但运行后意料之外地出现了如下的error:你也许会很纳闷,明new_model与model已经设置为相同结构了,为什么会报出结构不匹配的error。让我们仔细地观察一下:通过这里的信息我们可以基本分析出来报错的原因来自模型的字典的键(key)出现了不匹配。原创 2023-09-11 18:08:15 · 230 阅读 · 0 评论