Pytorch:神经网络实现的基本步骤

该博客详细介绍了如何使用PyTorch构建并训练一个简单的线性回归模型。从准备数据集开始,包括创建一个玩具数据集,然后定义网络结构(线性层),接着定义最小平方误差损失函数和随机梯度下降优化器。博主通过迭代训练模型,并记录训练过程中的损失。整个过程展示了PyTorch中数据加载、前向传播、反向传播和参数更新的基本步骤。
摘要由CSDN通过智能技术生成

基本步骤

1、 准备数据集

2、 定义网络结构

3、定义损失函数

4、定义优化算法

5、迭代训练

1、准备好Tensor形式的输入数据及标签(涉及到torch.utils.data.Dataset和DataLoader)
2、定义好网络前向传播用于计算网络的输出(output)以及网络的损失(loss)
3、定义传播进行网络参数更新:
(1)将上一个迭代所计算的梯度进行清零:optimizer.zero_grad()
(2)进行本次迭代的梯度计算:loss.backward()
(3)更新网络的权值参数:optimizer.step()
保存训练集上的loss以及验证集上的loss以及准确率,并打印可视化

import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt


# Hyper-parameters 定义迭代次数, 学习率以及模型形状的超参数
input_size = 1
output_size = 1
num_epochs = 60
learning_rate = 0.001

# Toy dataset  1. 准备数据集
x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168], 
                    [9.779], [6.182], [7.59], [2.167], [7.042], 
                    [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)

y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573], 
                    [3.366], [2.596], [2.53], [1.221], [2.827], 
                    [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)

# Linear regression model  2. 定义网络结构 y=w*x+b 其中w的size [1,1], b的size[1,]
model = nn.Linear(input_size, output_size)

# Loss and optimizer 3.定义损失函数, 使用的是最小平方误差函数
criterion = nn.MSELoss()
# 4.定义迭代优化算法, 使用的是随机梯度下降算法
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)  
loss_dict = []
# Train the model 5. 迭代训练
for epoch in range(num_epochs):
    # Convert numpy arrays to torch tensors  5.1 准备tensor的训练数据和标签
    inputs = torch.from_numpy(x_train)
    targets = torch.from_numpy(y_train)

    # Forward pass  5.2 前向传播计算网络结构的输出结果
    outputs = model(inputs)
    # 5.3 计算损失函数
    loss = criterion(outputs, targets)
    
    # Backward and optimize 5.4 反向传播更新参数
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

    



  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值