pytorch 网络所有参数设为0

最新推荐文章于 2024-05-04 18:26:58 发布
最新推荐文章于 2024-05-04 18:26:58 发布
阅读量790 收藏 1
点赞数
文章标签： pytorch 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shelley_chason/article/details/120726819
版权

如题，pytorch网络所有参数设为0的demo

from torchvision.models import resnet18
from torch.nn import init
net = resnet18(pretrained=False)
for key in net.state_dict():
    if key.split('.')[-1] == 'weight':
        if 'conv' in key:
            init.zeros_(net.state_dict()[key])
        if 'bn' in key:
            net.state_dict()[key][...] = 0
    elif key.split('.')[-1] == 'bias':
        net.state_dict()[key][...] = 0
for parameters in net.parameters():
    print(parameters)
shelley_chason
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch实现将模型的所有参数的梯度清0
12-17
有两种方式直接把模型的参数梯度设成0： model.zero_grad() optimizer.zero_grad()#当optimizer=optim.Optimizer(model.parameters())时，两者等效 如果想要把某一Variable的梯度置为0，只需用以下语句： Variable.grad.data.zero_() 补充知识：PyTorch中在反向传播前为什么要手动将梯度清零？optimizer.zero_grad()的意义 optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0. 在学习pytorch的时候注
《动手学深度学习 Pytorch版》 5.4 自定义层
AncilunKiang的博客
09-16 648
（2）设计一个返回输入数据的傅里叶系数前半部分的层。（1）设计一个接收输入并计算张量降维的层，它返回。
PyTorch学习笔记-4.PyTorch损失优化
ruoqi23的博客
08-03 1438
4.PyTorch损失优化 4.1.权值初始化 4.1.1.梯度消失与爆炸 对于一个含有多层隐藏层的神经网络来说，当梯度消失发生时，接近于输出层的隐藏层由于其梯度相对正常，所以权值更新时也就相对正常，但是当越靠近输入层时，由于梯度消失现象，会导致靠近输入层的隐藏层权值更新缓慢或者更新停滞。这就导致在训练时，只等价于后面几层的浅层网络的学习。梯度爆炸与之相反。 例如下图的神经网络： 其中，，， 对求导得： 从上式可以看出，损失函数对求导是由多个求导累乘的结果，对于其中的每个求导，如果此部分小
Pytorch问题：autograd与backward()及相关参数的理解
tanmx219的博客
01-09 1万+
关于backward标量的问题 问题提出 在pytorch的官方教程中，有这么一段（我稍微修改了一些） import torch #x = torch.randn(3, requires_grad=True) x = torch.tensor([-1.0, -0.1, -0.05],requires_grad=True) print(x) y = x * 2 index = 0 while...
pytorch中卷积操作的初始化方法(kaiming_uniform_详解)
热门推荐
爱在深秋
05-26 1万+
摘要： 最近写了一篇文章，reviewers给了几个意见，其中之一就是：不同配置下的网络初始化条件是否相同，是怎样初始化的？ 之前竟然没有关注过这个问题，应该是torch默认情况下会初始化卷积核参数，这里详细讲解一下torch卷积操作的初始化过程。 1. pytorch中的卷积运算分类 在pycharm的IDE中，按住ctrl+鼠标点击torch.nn.Conv2d可以进入torch的内部卷积运算的源码(conv.py) 搭建网络经常使用到的模块如下图所示： class _ConvNd(.
pytorch冻结网络参数及网络层学习率设置
张飞飞的博客
08-15 791
1、冻结网络层参数 for name, param in model.named_parameters(): if ('discriminator_G' not in name) and ('discriminator_L' not in name): param.requires_grad = False
0基础,跟我一起学python--基础篇(3)
奇点
08-02 766
类(Class)用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。就是对对象共有属性的抽象。类中定义的函数。（第一个参数上self）类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。类变量或者实例变量用于处理类及其实例对象的相关的数据。如果从父类继承的方法不能满足子类的需求，可以对其进行改写，这个过程叫方法的覆盖（override），也称为方法的重写。定义在方法中的变量，只作用于当前实例的类。...
android layout_weight="0dp"原因解析
aigo6的博客
05-07 1257
设置android:layout_weight="1“时，有时会发现android:layout_width="0dp"，有时则发现android:layout_width="wrap_content" 其实正确的做法是android:layout_width="0dp"，因为width的优先级高于weight。可参看如下链接文章 http://blog.csdn.net/u010552788
深度学习--第11篇: Pytorch权值初始化
w风的季节-博客
05-04 1169
Pytorch权值初始化参考博客背景知识1. 梯度消失和爆炸2. Xavier初始化2.1 Xavier均匀分布初始化2.2 Xavier正态分布初始化3. Kaiming初始化3.1 Kaiming正态分布初始化3.2 Kaiming均匀分布初始化 参考博客 参考博客: https://blog.csdn.net/weixin_42147780/article/details/103238195...
pytorch踩坑日记
cobracanary的博客
10-30 4537
昨天使用pytorch写一个程序，程序写完之后却一直不能正确运行，今天定位到了代码的问题所在： 我的代码其中有一处逻辑是这样的: …… get a # 这里的a就是我想反向求导更新的参数 b=torch.nonzero(a) # 得到a里面所有不为0的下标 for i,j in b: feature_i=feature[i] feature[j]=feature[j] …… get c # 通过b中的元素下标得到一个c c->loss # c经过一系列操作得到了loss 之后lo
pytorch 实现查看网络中的参数
09-18
今天小编就为大家分享一篇pytorch 实现查看网络中的参数，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 求网络模型参数实例
09-18
今天小编就为大家分享一篇pytorch 求网络模型参数实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 共享参数的示例
09-18
今天小编就为大家分享一篇pytorch 共享参数的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 自定义参数不更新方式
01-20
nn.Module中定义参数：不需要加cuda，可以求导，反向传播 class BiFPN(nn.Module): def __init__(self, fpn_sizes): self.w1 = nn.Parameter(torch.rand(1)) print(no-----------------------------------------...
动手学深度学习-pytorch版本（一）：引言 & 预备知识
qq_42994487的博客
08-14 939
深度学习的基本概念及数学基础
Dropout原理介绍
只为成功找方法 不为失败找借口
12-15 2125
本文转自：http://m.blog.csdn.net/blog/whiteinblue/37808623  一：引言 因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题，过拟合指的是模型在训练数据上损失函数比较小，预测准确率较高（如果通过画图来表示的话，就是拟合曲线比较尖，不平滑，泛化能
pytorch基础讲解及代码
shuai_yue的博客
06-16 1502
pytorch基础 1.1 基本数据：Tensor Tensor，即张量，是PyTorch中的基本操作对象，可以看做是包含 单一数据类型元素的多维矩阵。从使用角度来看，Tensor与NumPy的 ndarrays非常类似，相互之间也可以自由转换，只不过Tensor还支持 GPU的加速。 本节首先介绍Tensor的基本数据类型，然后讲解创建Tensor的多种 方法，最后依次介绍Tensor在实际使用中的常见操作，如变形、组合、 排序等。 1.1.1 Tensor数据类型 Tensor在使用时可以有不同的数据类
《动手深度学习》5.2. 参数管理&5.4自定义层&5.5读写文件
qq_43797820的博客
09-29 457
参数访问、初始化、参数共享；自定义层；存储模型中间结果
循环神经网络模块介绍（Pytorch 12）
最新发布
March_A的博客
05-04 926
在对序列数据进行 更详细的回顾之后，我们将介绍文本预处理的实用技术。然后，我们将讨论语言模型的基本概念，并将此讨论作为循环神经网络设计的灵感。
使用PyTorch写一个图神经网络
03-30
这里提供一个简单的图神经网络的PyTorch实现，用于节点分类任务。 首先，我们需要导入必要的库： ```python import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.datasets import Planetoid import torch_geometric.nn as pyg_nn import torch_geometric.transforms as T ``` 然后，我们需要加载数据集。这里使用了Planetoid数据集中的Cora数据集。 ```python dataset = Planetoid(root='/data', name='Cora', transform=T.NormalizeFeatures()) data = dataset[0] ``` 接下来，我们定义一个简单的图神经网络模型。这个模型包含一个GCN层和一个线性层。 ```python class Net(torch.nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = pyg_nn.GCNConv(dataset.num_node_features, 16) self.fc = torch.nn.Linear(16, dataset.num_classes) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.fc(x) return F.log_softmax(x, dim=1) ``` 在forward函数中，我们首先将节点特征x和边信息edge_index传入GCN层中，得到GCN层的输出。然后，我们对输出进行ReLU激活和dropout操作，最后将其输入线性层进行分类。 接下来，我们定义训练函数和测试函数。 ```python def train(model, optimizer, data): model.train() optimizer.zero_grad() out = model(data) loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask]) loss.backward() optimizer.step() return loss.item() def test(model, data): model.eval() out = model(data) pred = out.argmax(dim=1) acc = pred[data.test_mask].eq(data.y[data.test_mask]).sum().item() / data.test_mask.sum().item() return acc ``` 在训练函数中，我们首先将模型设为训练模式，然后使用优化器将梯度清零。接着，我们将数据传入模型中，得到输出并计算损失。最后，我们反向传播并更新模型参数。 在测试函数中，我们首先将模型设为测试模式，然后将数据传入模型中得到输出。接着，我们将输出转换为预测结果，并计算准确率。 最后，我们开始训练和测试模型。 ```python model = Net() optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4) for epoch in range(200): loss = train(model, optimizer, data) acc = test(model, data) print('Epoch {}, Loss: {:.4f}, Test Acc: {:.4f}'.format(epoch, loss, acc)) ``` 这里我们使用Adam优化器和交叉熵损失函数，进行200个epoch的训练。每个epoch结束后，我们输出当前的损失和测试准确率。 完整代码如下： ```python import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.datasets import Planetoid import torch_geometric.nn as pyg_nn import torch_geometric.transforms as T dataset = Planetoid(root='/data', name='Cora', transform=T.NormalizeFeatures()) data = dataset[0] class Net(torch.nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = pyg_nn.GCNConv(dataset.num_node_features, 16) self.fc = torch.nn.Linear(16, dataset.num_classes) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.fc(x) return F.log_softmax(x, dim=1) def train(model, optimizer, data): model.train() optimizer.zero_grad() out = model(data) loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask]) loss.backward() optimizer.step() return loss.item() def test(model, data): model.eval() out = model(data) pred = out.argmax(dim=1) acc = pred[data.test_mask].eq(data.y[data.test_mask]).sum().item() / data.test_mask.sum().item() return acc model = Net() optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4) for epoch in range(200): loss = train(model, optimizer, data) acc = test(model, data) print('Epoch {}, Loss: {:.4f}, Test Acc: {:.4f}'.format(epoch, loss, acc)) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值