【pytorch官方文档学习之一】numpy

本系列旨在通过阅读官方pytorch代码熟悉CNN各个框架的实现方式和流程。

【pytorch官方文档学习之一】numpy

本文是对官方文档Tensors——warm-up：numpy的详细注释和个人理解，欢迎交流。

• 简述
  numpy是一种nd-array数据类型，无法直接作为GPU的输入，须转变成tensor或variable类型。
• 实例
  以下是利用numpy实现的两层CNN，包括forward和backward。

# -*- coding: utf-8 -*-
import numpy as np

# N is batch size; D_in is input dimension;
# H is hidden dimension; D_out is output dimension.
N, D_in, H, D_out = 64, 1000, 100, 10   # 定义input、output、batch size和hidden layer的维度

# Create random input and output data
x = np.random.randn(N, D_in)  # 以标准正态分布采样的方式生成维度为（N*D_in）的输入数据用来模拟数据集的输入数据。
y = np.random.randn(N, D_out)  # 以标准分布采样的方式生成维度为（N*D_out）的输出数据

# Randomly initialize weights
w1 = np.random.randn(D_in, H)   # 从标准正态分布中随机采样一组weights作为初始化值
w2 = np.random.randn(H, D_out)

learning_rate = 1e-6 # 定义lr
for t in range(500):   
    # Forward pass: compute predicted y   前向运算求出y的预测值
    h = x.dot(w1)                       # 定义hidden layer = x*w1
    h_relu = np.maximum(h, 0)			# 定义relu
    y_pred = h_relu.dot(w2)				# 定义y_pred = h_relu*w2

    # Compute and print loss
    loss = np.square(y_pred - y).sum()  # 定义loss
    print(t, loss)						# 每次运算输出一次loss

    # Backprop to compute gradients of w1 and w2 with respect to loss     利用loss反向传播更新w1和w2
    grad_y_pred = 2.0 * (y_pred - y)	
    grad_w2 = h_relu.T.dot(grad_y_pred)
    grad_h_relu = grad_y_pred.dot(w2.T)
    grad_h = grad_h_relu.copy()
    grad_h[h < 0] = 0
    grad_w1 = x.T.dot(grad_h)

    # Update weights   更新weights
    w1 -= learning_rate * grad_w1
    w2 -= learning_rate * grad_w2

注意定义神经网络的流程及方法