![](https://img-blog.csdnimg.cn/20210727152532782.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
应用 - 机器学习库
文章平均质量分 65
记录一些在人工智能学习当中使用各种机器学习库所遇到的问题或使用心得等。
叶怀生
小学学历,不太懂人工智能。
展开
-
Pytorch预训练模型(torch.hub)缓存地址修改
介绍了Pytorch是如何设置默认缓存路径的。原创 2023-04-15 10:23:52 · 4463 阅读 · 3 评论 -
【Pytorch】Expected all tensors to be on the same device, but found at least two devices
Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!大意是“预期所有张量处于相同的设备上,但是发现至少在两种设备上存在张量。”。也就是说有一些张量被放到了CPU,有一些张量被放在了GPU上,导致异常出现。建议是排查一下代码,是否在做GPU加速时,有一些张量被忘记放到GPU上了。特别是优化器(optimization)也应该处于GPU上(保持与模型在同一类设备上)。//原创 2021-11-10 15:35:52 · 9979 阅读 · 0 评论 -
【Pytorch】cuda runtime error (801) : operation not supported at C:\w\b\……ric/StorageSharing.cpp:245
最近在使用Pytorch对一个强化学习算法做分布式/多进程的改造,其中有一步需要将主进程训练好的新权重使用multiprocessing库的Queue对象发送给子进程。然后在打包权重送入队列时出现以下错误:cuda runtime error (801) : operation not supported at C:\w\b\windows\pytorch\torch/csrc/generic/StorageSharing.cpp:245经过网络上的一些资料搜索了解到,可能是因为欲获取权重的模型目前放原创 2021-10-04 21:26:49 · 1143 阅读 · 1 评论 -
Windows环境下Pytorch由Datalodaer设置num_workers大于1导致的异常错误及解决方式&重复运行
1.问题分析torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=NUM_WORKERS, pin_memory=True)在Pytorch中原创 2021-07-27 16:49:13 · 8021 阅读 · 3 评论 -
深度学习PyTorch、TensorFlow中GPU利用率与内存占用率很低的问题
上周,在一个使用Pytorch搭建的目标训练项目中,训练时,通过使用命令行执行NVIDIA-SMI(仅支持英伟达显卡)命令发现GPU的利用率基本一直停留在0%,并且显存占用率也较低。CSDN上有一篇分析比较好的博文,我将其中与GPU相关的分析摘抄如下:1. GPU内存占用率问题这往往是由于模型的大小以及batch size的大小,来影响这个指标。当你发下你的GPU占用率很小的时候,比如40%,70%,等等。此时,如果你的网络结构已经固定,此时只需要改变batch size的大小,就可以尽量利用完整个GP转载 2021-07-27 15:45:44 · 5814 阅读 · 0 评论 -
Pytorch训练提示错误:“页面文件太小,无法完成操作”
在上周的一个Pytorch目标检测项目的训练过程中遇到了这个问题,经过排查,该提示所指“页面文件太小”是指系统虚拟内存所设置的页面大小过小,无法支持项目训练时所需内存。解决办法有两种:1.降低Batch_Size大小:过大的Batch_Size(人工智能术语:指一次迭代过程送入的数据集样本量)显然需要更多的内存支持,出现“页面文件太小”,可尝试降低Batch_Size大小。2.调整虚拟内存可用硬盘空间大小:虚拟内存的本质是在本地硬盘开辟一个空间用于存放哪些暂时不需要进行计算操作的内存数据,类似一个“原创 2021-07-27 15:16:02 · 50009 阅读 · 9 评论