不同学习率
params_dict = dict(model.named_parameters())
params = []
for key, value in params_dict.items():
if key[8:16] == 'conv_off':
params += [{'params': [value], 'lr': 0.1 * args.lr}]
else:
params += [{'params': [value], 'lr': args.lr}]
数据输入
torch.utils.data.DataLoader:用来读取数据
ImageFolder:用来准备数据集
lmdb方式
主要是getitem,init和len函数
模型
init和forward
.train .eval bn,dropout等层不同效果
Gpu
torch.cuda.is_available()
~.cuda()
load函数有个map_location属性用于解决不同gpu的问题。但是使用cuda_visible_device更好
多GPU训练:DataParallel
多gpu时第一块显卡会明显占用更多,似乎是存放了模型 和模型输出的问题。
cuda后可以加device参数,async参数只有variable能加(model不能,与pinned memory机制配合使用)
data_loader有参数pinned memory,建议使用,固定cpu内存大小,更快复制到gpu。
所有参数,包含模型,输出,输出需放在同一个gpu上,默认为gpu0,所以gpu0的内存占用更多。
同时,pytorch的参数更新是发生在gpu上的,所以模型,input,output还必须在gpu上。
流程
- for data in data_loader
.csv:下图为基本使用
In [17]: a =pd.read_csv('Group1.csv', header=None)
In [19]: a.iloc[x,y]
pandas
- variable
- forward
- loss
hinged loss: 不鼓励分类器过度自信
criterion = torch.nn.MultiLabelSoftMarginLoss 处理不平衡样本,多关注少样本
- backward
- optimizer.zero_grad() and optimizer.step()