Pytorch学习
coding-piggy
不积跬步,无以至千里。
展开
-
Pytorch-Lightning在模型训练时记录中间值报错RuntimeError:CUDA out of memory
在训练model的时候,Pytorch-Lightning通过定义System(以model作为输入)和Trainer的方式实现模型训练。一、定义(1)首先定义System:res_from_recursion = []system = System( model=model,#在system之前定义的 loss_func=loss_func, optimizer=optimizer, train_loader=train_loader原创 2022-03-31 08:47:13 · 1904 阅读 · 0 评论 -
Jupyter Notebook报错: error: unrecognized arguments: -f
错误描述在本地是这样写的:args = parser.parse_args()上传到Jupyter Notebook后,错误信息为:main.py: error: unrecognized arguments: -f /home/ec2-user/.local/share/jupyter/runtime/kernel-fd53c949-7a00-4de7-9f82-b41f6227c86f.jsonAn exception has occurred, use %tb to see the ful转载 2021-09-13 11:07:09 · 3065 阅读 · 2 评论 -
pytorch自定义dataset:name ‘Optional‘ is not defined
错误描述pytorch在自定义dataset CELEBA类的时候,用到了以下表达:class CELEBA(DatasetFolder): def __init__( self, root: str, transform: Optional[Callable] = None, target_transform: Optional[Callable] = None, load原创 2021-09-13 10:55:13 · 3825 阅读 · 0 评论 -
图片数据集预处理-按label分别放入文件夹
数据集Fashion Product Images (Small)44000 products with category labels and images.目标:所有图片存在images文件夹下,styles.csv为对应的属性,根据articleType属性,将数据分为142类,并分别存在对应的/test(train)/label/文件夹下。-> 图片的名称 (1597.jpg)-> 通过名称在csv中找到对应的class_name (‘Shirts’)-> 再根据自己建原创 2021-08-31 13:28:32 · 973 阅读 · 0 评论 -
pytorch存储/加载模型及多GPUs条件下的注意事项
一、存储/加载模型可以选择保存整体model网络结构和参数PATH = 'saved_model.pth'# 保存整个model:torch.save(model_0, PATH)# 加载整个model:model_1 = torch.load(PATH)or只保存model参数PATH = 'saved_model.pth'# 由于只加载参数,因此需要提前定义网络结构,例如:class Net(nn.Module):...# 只保存参数:torch.save(model_0.s原创 2021-07-08 10:34:34 · 231 阅读 · 0 评论