PyTorch官方教程中文版之张量Tensor认识

Numpy

Numpy是一个很棒的框架，但它不能利用GPU来加速其数值计算。 对于现代深度神经网络，GPU
通常提供50倍或更高的加速，所以，numpy不能满足当代深度学习的需求。
在这里，先介绍最基本的PyTorch概念：

PyTorch张量（Tensor）

1. 张量（Tensor）：PyTorch的tensor在概念上与numpy的array相同： tensor是一个n维数组
2. PyTorch提供了许多函数用于操作这些张量。任何希望使用NumPy执行的计算也可以使用PyTorch
   的tensor来完成，可以认为它们是科学计算的通用工具。
3. 与Numpy不同，PyTorch可以利用GPU加速其数值计算。要在GPU上运行Tensor,在构造张量使用
   device 参数把tensor建立在GPU上。
4. 在这里，本章使用tensors将随机数据上训练一个两层的网络。和前面NumPy的例子类似，我们使
   用PyTorch的tensor，手动在网络中实现前向传播和反向传播：

# -*- coding: utf-8 -*-
import torch
from matplotlib import pyplot as plt

plt.figure(figsize=(20, 8))

dtype = torch.float
# device = torch.device("cpu")
device = torch.device("cuda:0")  # 取消注释以在GPU上运行

# N是批量大小; D_in是输入维度;
# H是隐藏的维度; D_out是输出维度。
N, D_in, H, D_out = 64, 1000, 100, 10
# 创建随机输入和输出数据
x = torch.randn(N, D_in, device=device, dtype=dtype)
y = torch.randn(N, D_out, device=device, dtype=dtype)
# 随机初始化权重
w1 = torch.randn(D_in, H, device=device, dtype=dtype)
w2 = torch.randn(H, D_out, device=device, dtype=dtype)
# 学习率
learning_rate = 1e-6
for t in range(500):
    # 前向传递：计算预测y
    h = x.mm(w1)
    # 其实就是relu函数
    h_relu = h.clamp(min=0)
    
    y_pred = h_relu.mm(w2)
    # 计算和打印损失
    loss = (y_pred - y).pow(2).sum().item()
    print(t, loss)
    plt.plot(t, loss, 'or-', label="train")
    # Backprop计算w1和w2相对于损耗的梯度 其实就是反向梯度更新
    # 计算w2梯度
    grad_y_pred = 2.0 * (y_pred - y)
    grad_w2 = h_relu.t().mm(grad_y_pred)
    # 计算w1梯度
    grad_h_relu = grad_y_pred.mm(w2.t())
    grad_h = grad_h_relu.clone()
    # 由于grad_h的维度和h维度相同，则可以直接采用h<0作为bool值判断选取
    grad_h[h < 0] = 0
    grad_w1 = x.t().mm(grad_h)
    # 使用梯度下降更新权重
    w1 -= learning_rate * grad_w1
    w2 -= learning_rate * grad_w2

plt.show()

反向推导引用图片引用_Isaac_
torch.clamp()参数详解