Pytorch强化练习之手动实现前向和反向传播

pytorch的两个核心特征：
1.提供n维张量tensor，类似于numpy，但可以在GPU上运行。
2.提供搭建和训练神经网络时的自动微分/求导机制。

本章节我们将使用全连接的ReLU网络作为运行示例。该网络将有一个单一的隐藏层，并将使用梯度下降训练，通过最小化网络输出和真正 结果的欧几里得距离，来拟合随机生成的数据。

以下内容分别用Numpy和Torch实现。

import numpy as np
import torch
# Numpy进行数据处理（定义数组，前向、反向传播等）
def npbp():
    # N为批量大小；D_in为输入维度；H为隐藏层维度；D_out为输出维度
    N, D_in, H, D_out = 64, 1000, 100, 10
    # 创建随机输入、输出数据
    x = np.random.randn(N, D_in)
    y = np.random.rand(N, D_out)
    # 随机初始化权重
    w1 = np.random.rand(D_in, H)
    w2 = np.random.rand(H, D_out)
    # 学习率
    learning_rate = 1e-6
    for i in range(500):
        # 前向传播，计算预测值。
        h = x.dot(w1)
        h_relu = np.maximum(h, 0)
        y_pred = h_relu.dot(w2)
        # 计算和打印损失
        loss = np.square(y_pred - y).sum()
        print(i, loss)
        # 反向传播，计算loss对w1的梯度。注：列出链式求导公式
        grad_y_pred = 2 * (y_pred - y)
        grad_w2 = h_relu.T.dot(grad_y_pred)
        # 反向传播，计算loss对w2的梯度
        grad_h_relu = grad_y_pred.dot(w2.T)
        grad_h = grad_h_relu.copy()
        grad_h[h < 0] = 0
        grad_w1 = x.T.dot(grad_h)
        # 更新权重
        w1 -= learning_rate * grad_w1
        w2 -= learning_rate * grad_w2
# torch实现代码
def ptbp():
    dtype = torch.float
    device = torch.device("cpu")
    # device = torch.device("cuda: 0")# 解除注释可以在GPU上运行
    # 定义变量
    N, D_in, H, D_out = 64, 1000, 100, 10
    # 创建随机输入输出数据
    x = torch.randn(N, D_in, device=device, dtype=dtype)
    y = torch.randn(N, D_out, device=device, dtype=dtype)
    # 随机初始化权重
    w1 = torch.randn(D_in, H, device=device, dtype=dtype)
    w2 = torch.randn(H, D_out, device=device, dtype=dtype)

    learning_rate = 1e-6
    for i in range(500):
        # 前向传播
        h = x.mm(w1)  # (N, H)
        h_relu = h.clamp(min=0)  # 取大于0的值，小于0的值取0 (N, H)
        y_pred = h_relu.mm(w2)  # (N, D_out)
        # 计算打印损失
        loss = (y_pred - y).pow(2).sum().item()
        print(i, loss)
        # 反向传播
        grad_y_pred = 2.0 * (y_pred - y)  # (N, D_out)
        grad_w2 = h_relu.t().mm(grad_y_pred)  # (H, D_out)
        
        grad_h_relu = grad_y_pred.mm(w2.t())  # (N, H)
        grad_h = grad_h_relu.clone()  # (N, H)
        grad_h[h < 0] = 0
        grad_w1 = x.t().mm(grad_h)  # (D_in, H)

        # 梯度下降更新权重
        w1 -= learning_rate * grad_w1
        w2 -= learning_rate * grad_w2

if __name__ == '__main__':
    npbp()
    ptbp()

参考：
http://pytorch123.com/ThirdSection/LearningPyTorch/