pytorch笔记：文本分类项目及多GPU分布式训练代码

来自B站视频，API查阅，TORCH.NN

• nn.init.xavier_uniform_(model.parameter_name)
• torchtext，torchvision 等有一些常用数据集和处理函数，如 get_tokenizer，build_vocab_from_iterator
• 计算过程中的 loss 可以用指数移动平均 loss，单步loss 可能震荡过大
• 具体代码可以去看视频，有比较详细的位置和讲解，每章节讲完脑图后会修改示例代码
• 并行计算可以分为数据并行和模型并行

model.cuda()
data=data.cuda()
torch.save()
torch.load(map_location=torch.device("cuda:0"))

• 检测可用卡和限制可用显卡

torch.cuda.device_count()
os.environ['CUDA_VISIBLE_DEVICES']="0,1"

• 单机多卡可以用DataParallel和DPP实现，推荐后者

model=DataParallel(model.cuda(),device_ids=[0,1,2,3])
model.module.state_dict()