模型训练总结

模型训练中的几个问题：
1.在建立model时做好详细的顶层设计，每个模型的作用，输入、输出以及参数等都规划好，及时拉长时间线也能继续按照之前的思路续写代码
2.在建立自己的基础模型：比如模型中的LSTMCell，参数尺寸设置用self.weight = Parameter()包装起来，初始化隐层的函数即返回隐层的初始值需要用Variable(tensor).to(device)或者Variable(tensor).cuda(device)包装，不然会报参数不在gpu上的错误
3.建立基础模型时，参数初始化可用self.parameters()返回weight：

for weight in self.parameters():
	weight.data.uniform_(-std,std)						

指定设备：device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

torch.cuda.set_device(1)

指定多块gpu：

os.environ["CUDA_VISIBLE_DEVICES"] = '1,2'

dist.init_process_group(backend = 'nccl',init_method = 'tcp://localhost:25654', rank = 0, world_size = 1)

    if torch.cuda.device_count() > 0:
        model = nn.parallel.DistributedDataParallel(model, find_unused_parameters=True)

torch.from_numpy将numpy转为tensor，但是数据类型不变，且不会有复制。
torch.Tensor是torch.floatTensor的默认
tensor.dtype数据类型
numpy.dtype数据类型
tensor.type_as(B)转换为B类型
tensor.float()转为float类型
吃透torch.nn.CrossEntropyLoss()：
吃透torch.nn.CrossEntropyLoss()

同目录下from .baseModels import *为啥要加点
with torch.no_grad作用和model.eval()作用