pytorch 打印网络回传梯度

需求:打印梯度,检查网络学习情况

net = your_network().cuda()
def train():
	...
	outputs = net(inputs)
    loss = criterion(outputs, targets)
    loss.backward()
	for name, parms in net.named_parameters():	
		print('-->name:', name, '-->grad_requirs:',parms.requires_grad, \
		 ' -->grad_value:',parms.grad)
	...

打印结果如下: name表示网络参数的名字; parms.requires_grad 表示该参数是否可学习,是不是frozen的; parm.grad 打印该参数的梯度值。
在这里插入图片描述

PyTorch中的梯度下降是一种优化算法,用于更新神经网络的参数以最小化损失函数。PyTorch提供了以下几种梯度下降的变种: 1. 批量梯度下降(Batch Gradient Descent):在每个训练迭代中,使用所有训练样本计算损失函数,并在整个数据集上更新模型参数。 2. 随机梯度下降(Stochastic Gradient Descent):在每个训练迭代中,随机选择一个样本计算损失函数,并更新模型参数。由于每次只使用一个样本,SGD的计算效率较高,但收敛速度较慢。 3. 小批量梯度下降(Mini-batch Gradient Descent):是批量梯度下降和随机梯度下降的折中方法。在每个训练迭代中,选择一个固定大小的小批量样本来计算损失函数并更新模型参数。小批量梯度下降通常比SGD更稳定,同时也比批量梯度下降更高效。 要在PyTorch中使用梯度下降,一般需要先定义一个优化器对象,例如使用torch.optim.SGD来创建一个随机梯度下降优化器。然后,在训练过程中,调用优化器的step()方法来执行参数更新。在每个迭代中,还需要计算损失函数关于参数的梯度,并使用backward()方法进行梯度回传。最后,使用optimizer.zero_grad()来清空梯度缓存。 下面是一个简单的例子,展示了如何在PyTorch中使用随机梯度下降: ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的线性模型 model = nn.Linear(2, 1) # 定义损失函数 loss_fn = nn.MSELoss() # 定义随机梯度下降优化器 optimizer = optim.SGD(model.parameters(), lr=0.01) # 模拟输入数据和目标标签 inputs = torch.tensor([[1.0, 2.0], [3.0, 4.0]]) targets = torch.tensor([[3.0], [7.0]]) # 进行训练 for epoch in range(100): # 前向传播计算预测值 outputs = model(inputs) # 计算损失 loss = loss_fn(outputs, targets) # 梯度清零 optimizer.zero_grad() # 反向传播计算梯度 loss.backward() # 更新模型参数 optimizer.step() # 打印训练后的模型参数 print(model.weight) print(model.bias) ``` 在上述代码中,我们定义了一个简单的线性模型、均方误差损失函数和随机梯度下降优化器。然后,我们使用输入数据和目标标签进行训练,通过调用optimizer.step()来更新模型参数,最后打印出训练后的模型参数。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值