![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
DeepHacking
deep learing hacking
展开
-
Pytorch使用DataLoader, num_workers!=0时的内存泄露
我在做一个超大数据集的多分类,设备Ubuntu 22.04+i9 13900K+Nvidia 4090+64GB RAM,第一次的训练的训练集有700万张,训练成功。找了很久的原因,发现内存随着训练step的增加而线性增加,猜测是内存泄露,最后定位到了DataLoader的num_workers参数(只要num_workers=0就没有问题)。Python中的list转换成tensor时,会发生内存泄漏,要避免list的使用,可以通过使用np.array来代替list。3.正确的重写Dataset方法()原创 2023-10-08 01:00:56 · 1333 阅读 · 0 评论 -
Conda 使用技巧
# 使用conda创建虚拟环境conda create -n env_name python=3.7 cudatoolkit=10.0 cudnnpip install tensorflow-gpu==2.0.0pip install keras原创 2019-10-26 01:59:47 · 206 阅读 · 0 评论