pytorch实战（一）之梯度下降实现

最新推荐文章于 2024-08-01 15:32:59 发布

虾米儿xia

最新推荐文章于 2024-08-01 15:32:59 发布

阅读量6.8k

点赞数 5

分类专栏： pytorch 文章标签： pytorch python 梯度下降

本文链接：https://blog.csdn.net/m0_37673307/article/details/82315176

版权

本文介绍了如何使用PyTorch实现梯度下降法，通过自定义神经网络解决线性函数问题。文章详细展示了从数据生成、网络构建到训练过程，讨论了迭代次数和隐藏层神经元数量对结果的影响，并提供了完整代码。

摘要由CSDN通过智能技术生成

1.需求说明

我们首先随机生成N个数，再通过一个线性函数生成目标数据target，然后将这N个数据通过我们自定义的神经网络得到输出output，通过不断迭代更新w和b，最小化target和output的差值，以此来实现：输入最初产生的随机数据N，通过网络，得到近似线性函数生成的目标数据target。

2.编程实现

1）导入模块

import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as f
import torch.optim as optim
import matplotlib.pyplot as plt

2）自定义网络

有时你会想要使用比现有模块组合更复杂的特殊模型；对于这些情况, 你可以通过继承 nn.Module来定义你自己的模块, 并定义一个 forward 来实现模块接收输入 Variable 并使用其他模块输出的 Variable 和其他 autograd 操作.

在这里中, 我使用了两层网络来作为一个自定义的模块子类:

NUM = 100   #输入个数（输入层神经元个数）
hider_num = 300  #隐藏层神经元个数
class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()

        self.fc1 = nn.Linear(NUM,hider_num)
        self.fc2 = nn.Linear(hider_num,NUM)

    def forward(self,x):
        x = f.relu(self.fc1(x))
        x = self.fc2(x)
        return x

3）随机生成数据

x = torch.randn(NUM)
input = Variable(x)   #随机生成NUM个数据

target = Variable(0.5 * x + 0.3)   #用0.5 × x + 0.3 函生成目标数据

4）网络更新

net = Net()   #网络对象
print(net)

optimizer = optim.SGD(net.parameters(),lr=0.01)  #随机梯度下降优化器
loss_list =[]                                #保存loss，便于画图
step = 500