深度学习入门笔记（5）—— Pytorch API 的基本用法框架

第一步，通常是定义我们的神经网络模型。类名后的括号表示我们定义的类会继承 torch.nn.Module，而 super 函数就是调用父类的方法，后面跟 __init__() 就是调用 torch.nn.Module 的构造函数，然后就是我们自定义的模型及其参数。在 forward 方法中则定义了数据是如何传递的。

第二步，是实例化我们定义好的模型。通常会设定一个随机种子以方便复现结果，如果有 GPU 用 model.to() 就可以把模型移动到 GPU 上进行计算。最后是实例化一个优化器，要告诉优化器，模型的参数是什么（以对它们进行梯度下降并更新参数）以及学习率是多少等等。

第三步，训练模型，大循环是一个 epoch，小循环是一个 mini batch；

得到训练数据 features 后，用 model() 而不是 model.forward() 来进行模型的前向计算；得到输出 logits 后与标签 targets 一起送入损失函数，得到 loss；然后零初始化梯度，再进行 loss 的反向传播；最后优化器会对参数进行更新。

训练和验证之前，要把模型设置为训练模式和验证模式，不同模式下会有不同的函数功能。

使用 logits 的理由

构建网络有两种方法，面向对象方法和函数式方法：左边是函数式方法，将 ReLU 作为一个函数直接在 forward() 中进行调用即可；右边是面向对象方法，在构造函数中通过实例化 ReLU 类得到一个 ReLU 函数，这种做法实际上有点多余，因为 ReLU 实际上不需要输入什么参数，它就是个函数而已。

虽然面向对象方法似乎有点多余，但它支持 Sequential 顺序式地调用，即一个一个类按顺序地进行定义，这样就不需要在 forward() 中指明数据的传递方向了。这种方法更加紧凑，但是也更难进行 debug，因为如果在 forward() 中有 out，直接打印就能看到每层的输出。

想在 Sequential 中 debug，就得用 hooks 来得到模型中间层的输出了。

最后，在 pytorch-styleguide 库中，有着很详细的如何正确使用 Pytorch 的指南，强烈推荐学习，地址在这个链接。