pytorch中最常用的两个包：torch.nn和torch.optim

在使用pytorch搭建神经网络的时候，有两个最常用的包：torch.nn和torch.optim。torch.nn包中主要包含了用来搭建各个层的模块（Modules），比如全连接、二维卷积、池化等；torch.nn包中还包含了一系列有用的loss函数，这些函数也是在训练神经网络时必不可少的，比如CrossEntropyLoss、MSELoss等；另外，torch.nn.functional子包中包含了常用的激活函数，如relu、leaky_relu、prelu、sigmoid等。

而torch.optim包则主要包含了用来更新参数的优化算法，比如SGD、AdaGrad、RMSProp、 Adam等。

使用torch.nn包定义网络有两种常用的方法，一种是继承nn.Module类的方式，这种方式能够实现网络结构的自定义，尤其是当需要实现共享参数时，我们可以简单地在forward函数中重复使用同一个定义在__init__函数中的层；另外一种是使用torch.nn.Sequential进行定义，这种定义方法相对于第一种更加方便快捷就像在TensorFlow中定义网络一样。下面分别用代码展示了这两种定义方式：

import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

net = Net()

model = nn.Sequential(
    nn.Linear(D_in, H),
    nn.ReLU(),
    nn.Linear(H, D_out),
)

定义完网络，接下来就需要定义损失函数和优化方法。举例如下：

import torch.optim as optim#导入上面的torch.nn包之后还需导入torch.optim包

loss_fn = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

定义好了网络、损失函数、优化器之后，顺便说一下在训练的循环中必须写的几句代码，这也就是常规训练网络的做法。

#将输入输进网络得到输出y_pred
y_pred = model(x)
#运用上面定义的loss函数计算网络输出与标签之间的距离
loss = loss_fn(y_pred, y)
#在反向传播之前需要将优化器中的梯度值清零，因为在默认情况下反向传播的梯度值会进行累加
optimizer.zero_grad()
#进行反性传播，计算损失函数对于网络参数的梯度值
loss.backward()
#按照梯度值与优化器的定义来改变网络参数值，使其朝着输出更好结果的方向改变
optimizer.step()