模型训练中的几个问题:
1.在建立model时做好详细的顶层设计,每个模型的作用,输入、输出以及参数等都规划好,及时拉长时间线也能继续按照之前的思路续写代码
2.在建立自己的基础模型:比如模型中的LSTMCell,参数尺寸设置用self.weight = Parameter()包装起来,初始化隐层的函数即返回隐层的初始值需要用Variable(tensor).to(device)或者Variable(tensor).cuda(device)包装,不然会报参数不在gpu上的错误
3.建立基础模型时,参数初始化可用self.parameters()返回weight:
for weight in self.parameters():
weight.data.uniform_(-std,std)
指定设备:device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
torch.cuda.set_device(1)
指定多块gpu:
os.environ["CUDA_VISIBLE_DEVICES"] = '1,2'
dist.init_process_group(backend = 'nccl',init_method = 'tcp://localhost:25654', rank = 0, world_size = 1)
if torch.cuda.device_count() > 0:
model = nn.parallel.DistributedDataParallel(model, find_unused_parameters=True)
torch.from_numpy将numpy转为tensor,但是数据类型不变,且不会有复制。
torch.Tensor是torch.floatTensor的默认
tensor.dtype数据类型
numpy.dtype数据类型
tensor.type_as(B)转换为B类型
tensor.float()转为float类型
吃透torch.nn.CrossEntropyLoss():
吃透torch.nn.CrossEntropyLoss()
同目录下from .baseModels import *为啥要加点
with torch.no_grad作用和model.eval()作用