Pytorch训练常用方法总结

写在前面

该篇博客用来记录深度学习训练过程中的小trick 以及常用的容易犯错的内容 持续更新

训练过程可视化

TensorBoardX 记录训练过程 以及训练过程的分析

Pytorch中自动求导和反向传播

1.生成tensor torch.tensor
由于在pytorch 0.4.0 版本中 tensor 和 Variable 合并 因此不需要在给每个tensor 外部包装一个Variable类型 现在每一个tensor就是一个可以自动求导的Variable 变量
在初始化一个tensor的时候需要注意

a=torch.tensor([[1,2,3],[4,5,6]],dtype=torch.float32,required_grad=True)  # 只有float类型的数据才能够具有导数  
a= torch.Tensor([[1,2,3],[4,5,6]]) 注意tensor 和Tensor 的区别  此时 时不具有dtype 和required_grad属性的

使用 torch.Tensor 是所有其他类型的tensor的基类 其他类型的tensor是torch.Tensor的实例
torch.Tensor 返回的是一个空的tensor
torch.tensor 需要传入data数据
torch.Tensor() 和 torch.tensor(（ ）) 表示相同的意思

torch.FloatTensor(2,3) 构建一个23 Float类型的张量
torch.DoubleTensor(2,3) 构建一个23 Double类型的张量
torch.ByteTensor(2,3) 构建一个23 Byte类型的张量
torch.CharTensor(2,3) 构