PyTorch入门(二)

• AutoGrad 模块
  Tensorflow等深度学习框架都是使用的静态计算图，开发者必须建立或定义一个神经网络，并重复使用相同的结构来执行模型训练。改变网络的模式就意味着我们必须从头开始设计并定义相关的模块。
  但 PyTorch 使用的技术为自动微分（automatic differentiation）。在这种机制下，系统会有一个 Recorder 来记录我们执行的运算，然后再反向计算对应的梯度。这种技术在构建神经网络的过程中十分强大，因为我们可以通过计算前向传播过程中参数的微分来节省时间。
  
  前面是使用backward()求解变量的梯度，后面我们也可以使用 torch.autograd.grad 计算梯度。如下所示，我们使用另外一种方式求解同一个函数的梯度。
  

• 最优化模块
  torch.optim 是实现神经网络中多种优化算法的模块，它目前已经支持大多数一般的方法，所以我们不需要从头构建优化算法。以下展示了使用 Adam 优化器的基本代码：

optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

• 神经网络模块
  PyTorch AutoGrad 使得计算图的定义和梯度的计算十分简单，但原版的 AutoGrad 可能对定义复杂的神经网络显得太底层，因此我们需要神经网络模块帮助简化工作。该 nn 包定义了一组函数，我们可以将其视为有一些可训练权重的神经网络层级。我们也可以将该神经网络模块视为类似于 Keras 的 PyTorch 组件。

  • 线性层-nn.Linear、nn.Bilinear

  • 卷积层-nn.Conv1d、nn.Conv2d、nn.Conv3d、nn.ConvTranspose2d

  • 非线性激活函数-nn.Sigmoid、nn.Tanh、nn.ReLU、nn.LeakyReLU

  • 池化层-nn.MaxPool1d、nn.AveragePool2d

  • 循环网络-nn.LSTM、nn.GRU

  • 归一化-nn.BatchNorm2d

  • Dropout-nn.Dropout、nn.Dropout2d

  • 嵌入-nn.Embedding

  • 损失函数-nn.MSELoss、nn.CrossEntropyLoss、nn.NLLLoss

• 构建神经网络

#numpy实现
import numpy as np

#Input array
X=np.array([[1,0,1,0],[1,0,1,1],[0,1,0,1]])

#Output
y=np.array([[