MindSpore模型迁移bias参数设置

于 2023-01-28 16:41:25 发布
阅读量248 收藏
点赞数
文章标签： 深度学习 自然语言处理 人工智能 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BaldheadedM/article/details/128779667
版权

在网络模型迁移过程中，有一项工作非常重要，就是检查一下mindspore和torch对应算子之间的参数默认设置是否相同，如果不同的话，需要手动改成相同的，图中是我在精度调优期间发现的问题，mindspore算子与对应torch算子bias默认设置不同，如果bias设置不一致的话，就会导致算子输出产生很大区别。

代码中bias参数使用的部分如下：

self.conv2d = nn.Conv2d(
            bn_channels, bn_channels*num_spks, kernel_size=1, has_bias=True, weight_ini
最低0.47元/天 解锁文章
BaldheadedM
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
torch 移植 Mindspore 历程（未完成）
qq_28423665的博客
07-24 552
在cuda11.5上安装Mindspore
昇腾PyTorch模型迁移.pptx
05-21
- 将其他AI框架（如TensorFlow、PyTorch等）的模型和脚本迁移到华为MindSpore框架。 ### 2. 昇腾NPU硬件环境简介 昇腾NPU是华为推出的一种高性能的人工智能处理器，旨在提供强大的计算能力，支持大规模的人工智能...
【MindSpore易点通】如何将PyTorch源码转成MindSpore低阶APIP,并在Ascend芯片上实现单机单卡训练
skytttttt9394的博客
08-30 689
构造模型时，首先将网络原型与损失函数封装，再将组合的模型与优化器封装，最终组合成一个可用于训练的网络。由于训练并验证中，需计算在训练集上的精度 ，因此返回值中需包含网络的输出值。与MindSpore高阶API相同，低阶API训练也需要进行：配置运行信息、数据读取和预处理、网络定义、定义损失函数和优化器。注：由于高阶API采用数据下沉模式进行训练，而低阶API不支持数据下沉训练，因此高阶API比低阶API训练速度快。下图展示了MindSpore高阶API、低阶API和PyTorch的训练流程的区别。...
关于attention的学习（原理+代码）
qq_43522986的博客
06-29 5512
关于attention的原理关键问题+torch.nn.MultiheadAttention代码逐行阅读
mindspore和pytorch的比较 -- 网络接口部分（二）
liutt233的博客
08-21 1221
二、网络接口及支持的方法 功能 mindspore Cell接口 torch Module接口 查看模块 cells_and_names() modules()，named_modules() 功能一致 cells() children() 略有差异 name_cells() name_children() 略有差异 获取参数 parameters_and_names()，get_parameters() state_dict(destination=None) 略有差异
请问想加载torch预训练好的模型用于mindspore模型finetune有什么方法？
weixin_45666880的博客
07-19 414
正在迁移一个mindspore的网络，已有torch版本，且已经有torch预训练好的权重。从头训练mindspore的网络太耗时，希望可以直接加载torch的权重进行finetune。请问有什么方法可以做到呢？需要把torch的checkpoint转化成MindSpore格式的checkpoint。然后用MindSpore加载checkpoint执行fune-tune任务。...
mindspore ResNet50迁移学习
最新发布
07-09
mindspore ResNet50迁移学习
风格迁移模型实例
04-03
风格迁移模型是一种在计算机视觉和图像处理领域广泛应用的技术，它能够将一幅图像的内容与另一幅图像的风格结合起来，创造出全新的视觉效果。这个实例是关于如何实现中国画风格的迁移，对于初学者来说是一个很好的...
mindspore和pytorch的比较 -- 构建网络（一）
liutt233的博客
08-21 3268
比较mindspore和torch网络建立相关的内容 一、网络构建：分别使用mindspore和torch构建两个相同的网络： mindspore： 建立一个子Cell：ConvBNReLU： from mindspore import Tensor, ops, Parameter, nn class ConvBNReLU(nn.Cell): def __init__(self): super(ConvBNReLU, self).__init__() self.conv = nn.Co
MindSpore怎么用？手把手教你！--网络迁移
Kenji_Shinji的博客
10-11 583
网络迁移，即将其它框架下的网络迁移成MindSpore框架下，刚好最近有一个迁移的任务，借这个手把手的机会学一学。## 准备工作安装MindSpore：安装的是1.6.1版本整个流程走下来发现MindSpore的conv2d的功能还挺强大，定义网络时没有build()和call()，而是把build放在init里，call变成constuct，提供的initializer支持各类参数初始化，总体功能都挺强。
【MindSpore易点通】如何保存模型进行checkpoint对比以及Print算子使用说明
Kenji_Shinji的博客
10-28 1169
MindSpore代码和Pytorch代码，存在MindSpore验证集精度比Pytorch低的问题，下面描述如何对比验证精度最大epoch的模型输出来定位问题。对比模型的各项输出结果，若发现有某项输出不一致，则需要分析对应的算子，可在MindSpore API中搜索相应算子，并分析。为保证Pytorch和MindSpore网络输入图片相同，代码做如下修改，Pytorch中代码也做对应修改。将其他框架的源码迁移至MindSpore后若出现精度问题，可以对比验证精度最大epoch的模型输出。
【MindSpore易点通】精度调测经验总结
Kenji_Shinji的博客
11-02 128
MindData的第三方库和PyTorch的第三方库不一样（MindData使用的是OpenCV），因此c_transforms.Resize和torch_transforms.Resize的输出相比有点误差是正常的，不影响使用。MindData数据预处理中有用到c_transforms.Resize，该算子实现与torch_transforms.Resize实现不一致。DUMP_train图没有某些算子的数据，因此网络进行精度调测的时候，经常要查看DUMP图中的算子信息。
【MindSpore易点通】调优精度之低阶API使用静态LossScale
Kenji_Shinji的博客
10-31 214
LossScale的主要思想是在计算loss时，将loss扩大一定的倍数，由于链式法则的存在，梯度也会相应扩大，然后在优化器更新权重时再缩小相应的倍数，从而避免了数据下溢的情况又不影响计算结果；在MindSpore中，loss scale的使用方法又分动态loss scale和静态loss scale两种，二者具体区别详见静态LossScale和动态LossScale的区别。：定义一个静态LossScale的模型控制器，它将网络、优化器和可能的scale 更新网络作为参数。为用户更新权重的优化器；
MindSpore踩坑——昇腾上的Cosine误差
skytttttt9394的博客
07-17 502
这两天遇到一个很经典的issue，为啥说经典呢，因为这是一个能够体现框架研发人员和算法工程师认知严重错位的典型案例。先放链接，有兴趣的同学可以去看下全过程。写模型的老师(maybe学生？)用了三个感叹号来表达内心的不爽。用于计算余弦函数的Cos算子，结果会有误差，正常情况下cos(pi)=-1.0，但是用MindSpore计算得到的结果多了一个-4e-6。一般情况下，如果在网络里用到Cos算子，其实影响也不大，但是。。。。这个时候影响就非常大了，入门常识问题，否则梯度更新会是反方向。了。...
MindSpore精度问题定位经验总结
Kenji_Shinji的博客
10-26 799
1、检查超参数的设置是否正确（例如优化器的weight decay、优化器的momentum、初始学习率、Dropout的prop和bn的momentum），框架迁移的场景检查初超参数设置是否和原始脚本一致，重头在MindSpore上开发的场景检查超参数设置是否符合预期。2、使用Print算子在网络结构中二分法打印算子的反向输出，找到反向精度出现问题的算子。2、检查初始化方式是否正确，框架迁移的场景检查初始化方式和结果是否和原始脚本一致，重头在MindSpore上开发的场景检查初始化结果是否符合预期。
MindSpore在昇腾Ascend平台使用全精度计算
Kenji_Shinji的博客
10-26 804
打开在Ascend执行的第一张图所对应的trace_code_graph_xxx文件，此时数据流经过第一个卷积层所对应的数据类型为：float32(输入)—>float16(计算)—>float32(输出)打开在Ascend执行的第三张图所对应的trace_code_graph_xxx文件，此时数据流经过第三个卷积层所对应的数据类型为：float32(输入)—>float16(计算)—>float32(输出)此时数据流的数据类型为：float32(输入)—>float32(计算)—>float32(输出)
CNN - nn.Conv1d使用
热门推荐
xu624735206的博客
05-25 2万+
CNN - nn.Conv1d使用一、Conv1d 参数设定二、Conv1d 输入输出以及卷积核维度三、Conv1d 计算过程1. 测试一：in_channels=1, out_channels=12. 测试二：in_channels=1, out_channels=23. 测试三：in_channels=8, out_channels=13. 测试三：in_channels=8, out_channels=2四、Conv1d 在文本中的应用 -- TextCNN 一、Conv1d 参数设定 torch
PyTorch(14)---使用现有的模型及其修改
weixin_45703331的博客
07-29 1190
使用现有的模型及其修改
mindspore风格迁移
04-04
在MindSpore中，可以使用深度学习模型实现风格迁移。 具体实现步骤如下： 1. 准备数据集：需要准备一些具有不同风格的图片，并将其作为训练数据集。 2. 构建模型：可以使用已有的深度学习模型，如VGG19等，或者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值