关于pytorch官方文档tensor/two_layer_net_numpy.py的学习

warm_up 热身训练

代码是使用numpy进行的模型训练，目的是通过这样一个我们熟悉的矩阵计算过程模拟神经网络的运算，实质上的过程基本一致，就是中间的实现不同

import numpy
N, D_in, H, D_out = 64, 1000, 100, 10
分别代表，N：每次训练的样本个数
D_in：输入
D_out：输出
H：隐藏层
x = np.random.randn(N, D_in) 
y = np.random.randn(N, D_out)
w1 = np.random.randn(D_in, H)
w2 = np.random.randn(H, D_out)
构建四个随机生成的长和宽分别是括号里面的数字的矩阵
x:输入
y:输出
w1:输入和隐藏层的
learning_rate = 1e-6
学习率0.好多零6

训练过程

for t in range(500):#训练500次
  h = x.dot(w1)
  h_relu = np.maximum(h, 0)
  y_pred = h_relu.dot(w2)
  计算预测值，也可以说是正向传播的过程
  
  loss = np.square(y_pred - y).sum()
  计算丢失率
  
  # Backprop to compute gradients of w1 and w2 with respect to loss
  反向传播的过程，算法要学习的话找教程看，要是没记错应该是bp，
  grad_y_pred = 2.0 * (y_pred - y)
  grad_w2 = h_relu.T.dot(grad_y_pred)
  grad_h_relu = grad_y_pred.dot(w2.T)
  grad_h = grad_h_relu.copy()
  grad_h[h < 0] = 0
  grad_w1 = x.T.dot(grad_h)
 
  # Update weights
  更新权值矩阵
  w1 -= learning_rate * grad_w1
  w2 -= learning_rate * grad_w2

通俗的来说，我们保存的模型就是一个矩阵，后面的预测值只是根据预测数据和矩阵进行计算得到的结果，比如分类问题就是计算每一个种类的概率，选择最大的概率作为预测结果

感兴趣的话，可以把最开始的参数调小，并输出每一步的结果，这样可以有一个更直观的了解