pytorch学习教程笔记(一)

(注:代码来自pytorch官网)

学习使用pytorch构建神经网络,首先我们来看一下不使用深度学习框架的网络如何构建


```python
# -*- coding: utf-8 -*-
import numpy as np

# N is batch size; D_in is input dimension;
# H is hidden dimension; D_out is output dimension.
N, D_in, H, D_out = 64, 1000, 100, 10

# Create random input and output data
x = np.random.randn(N, D_in)
y = np.random.randn(N, D_out)

# Randomly initialize weights
w1 = np.random.randn(D_in, H)
w2 = np.random.randn(H, D_out)

learning_rate = 1e-6
for t in range(500):
    # Forward pass: compute predicted y
    h = x.dot(w1)
    h_relu = np.maximum(h, 0)
    y_pred = h_relu.dot(w2)

    # Compute and print loss
    loss = np.square(y_pred - y).sum()
    print(t, loss)

    # Backprop to compute gradients of w1 and w2 with respect to loss
    grad_y_pred = 2.0 * (y_pred - y)
    grad_w2 = h_relu.T.dot(grad_y_pred)
    grad_h_relu = grad_y_pred.dot(w2.T)
    grad_h = grad_h_relu.copy()
    grad_h[h < 0] = 0
    grad_w1 = x.T.dot(grad_h)

    # Update weights
    w1 -= learning_rate * grad_w1
    w2 -= learning_rate * grad_w2

不使用深度学习框架,我们来构造一个单隐层的网络
输入层维度1000,隐层100,输出层10,假设batch为64
学习率为1e-6

首先我们初始化数据集,使用随机初始化
x为(64*1000),y为(64*10)

接下来我们初始化两层网络的权重
w1 为(1000*100),w2位(100*10)

接下来我们迭代优化500次,每次的过程如下所示:

隐层结果h = x与w1相乘,结果为(64*100)
对隐层结果h使用relu函数进行裁剪,小于0的结果裁剪为0,得到h_relu结果
最终预测结果y_pred = h_relu与w2相乘,结果为(64*10)

loss函数为
预测结果y_pred与实际结果y的误差平方,一共(64*10)个误差平方
总loss为所有的误差平方和,将640个误差平方相加为一个数

计算梯度
计算y的梯度,因为我们取的是平方和,所以计算梯度时乘2,维度为(64*10)

计算w2的梯度,隐层结果转置与y梯度相乘,为(100*64)*(64*10)

计算隐层结果梯度,预测结果与w2转置相乘
(64*10)*(10*100)

将实际训练过程中裁剪的位置转换为0
(注:这里的h为训练时的h,h<0的位置没有传播)

计算w1的梯度

根据梯度调整参数

在这里插入图片描述

在这里插入图片描述
这些是一个例子中的loss结果

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值