看pytorch official tutorials的新收获（二）

---

上一篇关于PyTorch学习教程的博客：看pytorch official tutorials的新收获（持续更新）

7 torchvision.utils

这里面就只有两个函数：torchvision.utils.make_grid和torchvision.utils.save_image。一个是显示图片制作网格，另一个是保存图片。通常显示图片会和下面这个函数配合使用，就会自动显示一个batch的图片：

def show(img):
    npimg = img.numpy()
    plt.imshow(np.transpose(npimg, (1, 2, 0)), interpolation='nearest')

可以在这里看一下我的例子

8 torch.nn.MaxPool2d()

以前就知道这个就是一个最大池化的操作，今天看到有人用了ceil_mode的参数，就又看了官网，其实很好理解：
torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)
return_indices设置为True，意思就是也返回最大值的那个索引，在之后的torch.nn.MaxUnpool2d会很有用；
ceil_mode设置为True, 在计算输出形状的时候会使用ceil而不是floor，一般我们像之前卷积的时候都是默认向下取整，现在就是向上取整
计算公式如下（torch.nn.Conv2d()的计算也是这样的）：

9 torch.save()保存模型/torch.load()加载模型

下面这两点都称作Serialization操作。记得之前看pytorch里面有两种模型保存的模式：第一种是只保存模型的参数，之后加载的时候得先把模型的结构搭起来，然后把模型的值赋进去；第二种是不仅保存模型参数的值，也把模型的结构保存下来，这样显然会更占用空间一点。
上面第一种的写法（这是推荐的写法）：

torch.save(the_model.state_dict(), PATH)
the_model = TheModelClass(*args, **kwargs)
the_model.load_state_dict(torch.load(PATH))

上面第二种的写法(因为这个方法受限于特定的类和目录结构，所以重构时可能会碰到很多问题，所以不建议)：

torch.save(the_model, PATH)
the_model = torch.load(PATH)

model.state_dict()就是把模型的名字和值以字典的形式给出，而如果除了想保存模型的参数值之外，还想保存一下别的量，比如epoch数，准确度阿，都可以进行打包成字典，然后保存，举个例子：

state = {
‘net’: net.state_dict(),
‘acc’: acc,
‘epoch’: epoch,
}
torch.save(state, save_path)

这一块就是注意保存和加载的时候最好是同样的环境就不太会出错，出错网上都会有相应的解决办法，等自己遇错以后看看能不能再来补充一点。

10 权重初始化：nn.init

当我们进行自己模型搭建的时候，常常会考虑到参数初始化，有时候初始化对于训练确实很重要，这里就介绍一下权重初始化。主要要用到这个包from torch.nn import init，还有很多的子函数，列举几个常见的：
torch.nn.init.constant_(tensor, val)
torch.nn.init.xavier_normal_(tensor, gain=1.0)
torch.nn.init.kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)
其实在我们没有指定初始化方法的时候，pytorch自身也会使用默认的参数初始化方法：
比如可以通过源码看到Conv2d继承_ConvNd，在类 _ConvNd有定义下面的函数

def reset_parameters(self):
        n = self.in_channels
        init.kaiming_uniform_(self.weight, a=math.sqrt(5))
        if self.bias is not None:
            fan_in, _ = init._calculate_fan_in_and_fan_out(self.weight)
            bound = 1 / math.sqrt(fan_in)
            init.uniform_(self.bias, -bound, bound)

类似的nn.Linear和nn.BatchNorm2d都有自己的默认初始化函数，这里就不放了。主要是要实现自己的初始化可以这样写，根据不同的层类型，用不同的初始化方法，注意是调用tensor.data形式：

from torch.nn import init

def weigth_init(m):
    if isinstance(m, nn.Conv2d):
        init.xavier_uniform_(m.weight.data)
        init.constant_(m.bias.data,0)
    elif isinstance(m, nn.BatchNorm2d):
        m.weight.data.fill_(1)
        m.bias.data.zero_()
    elif isinstance(m, nn.Linear):
        m.weight.data.normal_(0,0.01)
        m.bias.data.zero_()
        
  #实例化自己搭建的模型，apply()为内建函数
model = Net()
model.apply(weigth_init)

注意，我们通常会构建optimizer = optim.SGD(net.parameters(), lr=10, momentum=0.9, weight_decay=5e-4)优化器来对网络参数进行更新，现在发现，如果放在优化器中的只是模型一部分的参数，比如上面如果是net.layer1.parameters()，那么网络中其余层参数是不会更新的，即使他们的requires_grad=True，只有包裹在optimizer里面的会更新。但是其余的层还是会计算梯度的。