【mindspore】【Parameter】2.0.0版本自定义Parameter参数网络训练参数不更新

于 2023-09-25 11:29:14 发布
阅读量251 收藏
点赞数
文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/133269858
版权

自定义网络中的自定义参数Parameter 

网络的construct部分定义的参数参加了计算 

网络训练定义了loss和优化器 

但结果在训练过程中不断打印Parameter的值发现一直是初始化的值没有变化 

请问有没有ms 2.0.0 CPU的官方例程，就是自定义parameter，并在训练过程中能看到参数更新的例程，我想先自行对照下看看是不是自己的代码设计问题。目前我在官网文档中只找到了如何定义的案例，暂时没有找到Parameter参数更新的案例。

****************************************************解答*****************************************************

alpha没有参与计算，所以正向的value是不变的

如果想打印梯度，可以使用value_and_grad接口，或者不需要看value直接用grad接口也行

小乐快乐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch 自定义参数不更新方式
09-18
今天小编就为大家分享一篇pytorch 自定义参数不更新方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Bug记录——nn.Parameter（）参数不更新、根据loss自学习权重变量不更新、pytorch 模型自定义参数不更新、网络梯度为None，参数不更新解、tensor参数有梯度，但不更新
Chaoy6565的博客
05-03 4573
记录一个bug。bug描述：这是关于一个Pytorch模型自定义nn.Parameter（）参数不更新的bug。就是用nn.Parameter（）定义一个参数变量，它可以根据loss调整大小。1、看该变量的梯度是否为0或者为None。2、学习率是否过小和过大。3、是否加入了optimal的优化参数序列中。4、softmax也会使结果失去梯度,用log_softmax代替。5、torch.argmax(),会使结果失去梯度。
Pytorch 自定义网络参数，但网络参数数值不更新
qq_42256930的博客
04-17 691
如果我们仅仅将fw1的网络参数放到优化器中，依然采用b处开始计算梯度，fw2会有梯度值，但是由于没放到优化器中，因此fw2的网络参数是不会更新的。没有把定义的网络的参数放到优化器中因此，对应的网络部分的参数是不会更新的。
MindSpore模型的Parameter在图模式下如何手动更新
weixin_45666880的博客
11-10 260
本地试了一下，ptr = int(self.ptr)会报错，constrcut里不支持对Parameter（非常量Tensor）类型转换。在PYNATIVE模式下正常运行，在GRAPH模式下运行报错 ptr:ptr + bach_size invalid syntax。目前实现了类似MoCo的memory bank的结构，使用Parameter构造，在模型运行过程中需要更新，代码如下。如何修改以运行在GRAPH模式下。Parameter定义方式如下。
送你5个MindSpore算子使用经验
华为云官方博客
09-16 1203
MindSpore给大家提供了很多算子进行使用，今天给大家简单介绍下常用的一些算子使用时需要注意的内容。
mindspore如何读出Parameter的数据
weixin_45666880的博客
07-06 304
问题描述：在ckpt中，load_checkpoint加载模型后，是Parameter形式，如何转化为Tensor解答：针对您的问题，您是想把load_checkpoint读取出来Parameter转成Tensor，可以在构造Tensor的时候传入Parameter作为初始化参数，如tensor_x = mindspore.Tensor(parameter_x)。...
sys-clk-2.0.0-rc-4.zip
最新发布
06-05
sys-clk-2.0.0-rc_4.zip，最新版本，官方正式版本，2.0.0，因为GitHub下载较慢，转存于CSDN。 Switch大气层（Atmosphere）系统中的SysClk插件，不仅是简单地提供超频功能，它还内置了详尽的安全机制和用户友好的...
python 语音识别+语音训练+语音切割+语音转换的python +加tensorflow2.0.0+kera2.3.1安装日志
01-22
python 语音识别+训练+语音切割+语音转换的python 供大家学习, 基于加tensorflow2.0.0+kera2.3.1 1.顺序是语音转换 2.语音切割成小块 3.语音训练用那小块 4.最后语音识别
nacos公用配置支持动态参数
02-21
nacos支持配置动态参数,可以统一配置化管理,支持nacos2.0.0+基本通用,源码覆盖即可 共用配置示例: cache: redis: cluster: nodes: 10.8.3.30:6379,10.8.3.31:6380,10.8.30.32:6381 password: xxxx 业务库配置...
Spring Boot 2.0.0 终于正式发布-重大修订版本
08-27
Spring Boot 2.0.0 是一个重大的修订版本，标志着Spring Boot框架的重要里程碑。该版本于2018年3月1日正式发布，尽管在发布初期遇到了与Maven仓库同步的问题，但官方迅速修复并重新发布了该版本。这次更新带来了许多...
eos2.0版本更新
01-08
因为目前的eos系统暂时没有办法在原来的版本上直接更新，只有先重新装一个虚拟机 2）安装好后，首先再装一个vmwareTools 3）装eosio的release wget ...
parameter用法结合案例理解
qq_21952195的博客
08-10 148
具体理解parameter
Parameter 参数与 Argument 参数
u012183426的博客
05-11 3779
Parameter 参数与 Argument 参数 Parameter 和 Argument 都是参数，一开始很难判断某项内容是 parameter 还是 argument。关键区别在于它们出现在代码中的何处。parameter始终是_变量名称，并出现在函数声明中。相反，argument始终是一个值_（即任何 JavaScript 数据类型：数字、布尔值等），并且始终出现在函数调用代码中。 ...
成功安装mindspore1.8之后，使用Parameter报错
xi_xiyu的博客
11-07 349
首先，关于Parameter这件事，一般是放在init里面的，但理论上放哪里都无所谓，之所以会报错，我个人猜测是因为mindspore默认是graph模式，而这个模式会去“编译”你的模型，因此产生一些和一般编程的直觉不符的结果。因为Parameter实际上就是你的网络里面的参数，而deep learning从最广的层面来看，就是用一个带参数的函数去拟合某个函数，所以它使用最常见的梯度下降方法去优化，在这个优化过程中参数不断变化，以期得到最好的拟合效果。所以我假设你想要更改的是网络的设计，或者说架构。
pytorch 自定义参数不更新
jacke121的专栏
12-23 7091
nn.Module中定义参数：不需要加cuda，可以求导，反向传播 class BiFPN(nn.Module): def __init__(self, fpn_sizes): self.w1 = nn.Parameter(torch.rand(1)) print("no------------------------------------------------...
MindSpore报错 sth should be initialized as a Parameter type in ...
weixin_45666880的博客
04-19 1549
系统环境 Hardware Environment(Ascend/GPU/CPU): ALL Software Environment: MindSpore version (source or binary): 1.6.0 & Earlier versions Python version (e.g., Python 3.7.5): 3.7.6 OS platform and distribution (e.g., Linux Ubuntu 16.04): Ubuntu GCC/Compiler
MindSpore报错显示parameter没有zero属性
xi_xiyu的博客
11-04 237
具体使用方式可以参考官网文档：API映射 pytorch与mindspore https://www.mindspore.cn/docs/zh-CN/r1.7/note/api_mapping/pytorch_api_mapping.html?
使用MindSpore查看模型参数
xi_xiyu的博客
07-04 732
模型参数可以直观表现模型的训练情况，下面介绍下使用MindSpore训练过程中查看模型参数的方法。 可以直接加载CheckPoint统计，可能额外统计了动量和optimizer中的变量，需要过滤下相关变量。 可以参考如下接口统计网络参数量。 def count_params(net): """Count number of parameters in the network Args: net (mindspore.nn.Cell): Mindspore netwo...
fastjson 的 2.0.0 版本自定义反序列化器
06-11
在 fastjson 2.0.0 中，实现自定义反序列化器需要实现AutoTypeSupport接口，并在ParserConfig中注册该反序列化器。 下面是一个示例，假设我们有一个Person类： ```java public class Person { private String name; private int age; public Person() { } public Person(String name, int age) { this.name = name; this.age = age; } // getter、setter方法省略 } ``` 我们想要将一个JSON字符串反序列化成Person对象，其中JSON字符串中包含了一个自定义的type字段，用于指定反序列化成哪个类。例如： ```json { "type": "student", "name": "张三", "age": 20 } ``` 我们可以定义一个自定义的反序列化器，用于根据type字段的值反序列化成不同的类。示例代码如下： ```java public class PersonDeserializer implements ObjectDeserializer, AutoTypeSupport { @Override public <T> T deserialze(DefaultJSONParser parser, Type type, Object fieldName) { JSONObject jsonObject = parser.parseObject(); String typeValue = jsonObject.getString("type"); Class<? extends Person> clazz = getTypeClass(typeValue); if (clazz == null) { throw new JSONException("Unsupported type: " + typeValue); } return parser.parseObject(jsonObject.toJSONString(), clazz); } @Override public int getFastMatchToken() { return JSONToken.LBRACE; } @Override public boolean isAutoType(Class<?> clazz, String typeName) { return clazz == Student.class || clazz == Teacher.class; } @Override public Type resolveType(String typeName) { if ("student".equals(typeName)) { return Student.class; } if ("teacher".equals(typeName)) { return Teacher.class; } return null; } private Class<? extends Person> getTypeClass(String typeName) { Type type = resolveType(typeName); if (type instanceof Class) { Class<?> clazz = (Class<?>) type; if (Person.class.isAssignableFrom(clazz)) { return (Class<? extends Person>) clazz; } } return null; } } ``` 在上面的代码中，我们实现了ObjectDeserializer和AutoTypeSupport两个接口。其中，ObjectDeserializer接口用于实现自定义反序列化逻辑，AutoTypeSupport接口用于实现自定义的类型解析规则。 在deserialze方法中，我们首先解析出JSON对象，然后根据type字段的值获取需要反序列化成的类，最后调用JSONParser的parseObject方法将JSON对象反序列化成对应的类。 在isAutoType方法中，我们指定了支持反序列化成Student和Teacher两个类。在resolveType方法中，我们根据typeName解析出对应的Class对象。 最后，在ParserConfig中注册该反序列化器： ```java ParserConfig parserConfig = new ParserConfig(); parserConfig.setAutoTypeSupport(true); parserConfig.putDeserializer(Person.class, new PersonDeserializer()); ``` 以上就是使用 fastjson 2.0.0 实现自定义反序列化器的步骤和示例代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值