极智AI | 寒武纪 MLU resnet50 量化及离线推理流程

已于 2022-06-21 22:29:17 修改
阅读量7.8k 收藏 7
点赞数 1
分类专栏： 极智AI 文章标签： 深度学习 计算机视觉 芯片 ubuntu docker
于 2021-10-25 16:47:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42405819/article/details/120954951
版权
本文详细介绍了在寒武纪MLU芯片上使用Cambricon Pytorch环境配置、resnet50模型的量化、离线模型转换以及离线推理的完整流程，提供关键脚本内容和参数说明。通过此流程，可以为其他模型的量化推理提供参考。
摘要由CSDN通过智能技术生成

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  O_o   >_<   o_O   O_o   ~_~   o_O

  本文介绍了在寒武纪 MLU 中进行 resnet50 量化与离线推理的流程。

  本文主要介绍了 Cambricon pytorch 环境搭建、resnet50量化、resnet50 离线推理，resnet 系列是标准模型，其他模型也可参考该流程执行。

文章目录

1、Cambricon Pytorch 环境配置

  这个之前写过一篇文章《

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AIIsComing_
关注
专栏目录
订阅专栏
极智AI | 寒武纪 pytorch-mlu 添加逐层算子方法
极智视界
11-24 2762
本教程分享了在寒武纪设备上 pytorch-mlu 中添加逐层算子的方法。
在国产GPU寒武纪MLU上快速上手Pytorch使用指南
qq_39691492的博客
12-20 5081
在国产GPU寒武纪MLU上快速上手Pytorch使用指南
int8量化的resnet50在ImageNet数据集上的推断结果
JachinMa的博客
06-02 2307
将resnet50除全连接层外的所有层均量化为8bit。 结果如图： 这是使用1个cpu核心的结果。 这是使用3个cpu核心的结果。 作为对比，这是全精度模型的结果。 1个cpu核心 3个cpu核心 从结果对比可以看出，量化模型的fps较全精度模型提升了1.x倍，而平均延迟则分别减少了30%和50%。 将转换后的IR模型在Ubuntu上使用cpu做了推断，fps结果和DL Workbench一致，延迟因为不会测试就没有测。 除此之外，量化模型和全精度网络的推断结果还有两个很大比较大的差别：量化模型的
寒武纪MLU硬件--抽象硬件模型介绍
最新发布
qq_43527718的博客
07-22 784
一些基本概念 MLU Core：是寒武纪硬件的基本组成单元。每个MLU Core是具备完整计算、IO和控制功能的处理器核心，可独立完成一个计算任务，也可与其他MLU Core协作完成一个计算任务 Cluster：每4个MLU Core构成一个Cluster，每个Cluster内还会包含一个额外的Memory Core和一块被Memory Core和4个MLU Core共享的SRAM（Shared RAM，共享存储单元） Memory Core：不能执行向量和张量计算指令，只能用于SRAM和DDR（Dou
量化ResNet
weixin_45919003的博客
04-25 599
在量化resnet过程中遇到的一些问题
ResNet分类器量化
bobchen1017的博客
10-11 348
下面先定义一个直方图校准的int8量化，然后对输入全部进行量化定义模型对模型插入qdq统计qdq节点的range 和 scale做敏感词分析导出一个qdq节点的ptq对模型进行finetune ----> qat。
Pytorch模型量化实践并以ResNet18模型量化为例(附代码)
ljp1919的专栏
08-08 9325
简介Pytorch中的模型量化并以ResNet18为例进行代码实践。
resnext量化实验
shirleycyy的博客
03-18 413
一、 不加量化 这次主要对全连接层的权重的初始化方差和学习率的设置进行了修改，使得以前没有收敛的量化网络也能收敛。括号里为validation_cost从表格可以初步看出，全连接层的初始化权重应该适当增大一点，学习率的设置也产生一些影响。目前在尝试改其他参数，寻找最佳的参数设置。...
极智AI | 再谈昇腾CANN量化
极智视界
12-21 295
大家好，我是极智视界，本文介绍一下 再谈昇腾CANN量化。
极智开发 | ubuntu 安装寒武纪MLU-270 SDK教程
极智视界
07-13 1895
本教程详细记录了在 ubuntu 系统上安装寒武纪 SDK 的方法。
pytorch-resnet18和resnet50官方预训练模型
08-22
pytroch官网提供的预训练模型：resnet18：resnet18-5c106cde.pth和resnet50：resnet50-19c8e357.pth（两个文件打包在一起）
极智AI | 谈谈为什么量化能加速推理
极智视界
10-28 770
本文主要讨论一下为什么量化能加速模型推理。
ResNet压缩20倍，Facebook提出新型无监督模型压缩量化方法
我爱计算机视觉
12-02 736
点击我爱计算机视觉标星，更快获取CVML新技术本文经授权转自机器之心，作者立早。怎样用量化方法解决模型压缩问题？Facebook 近日提出了一个基于向量的量化方法，无需标注数据即可对 R...
部署教程 | ResNet原理+PyTorch复现+ONNX+TensorRT int8量化部署
爱CV
09-14 686
如果觉得有用，就请分享到朋友圈吧！
resnext on cifar10（三值量化）
shirleycyy的博客
03-18 624
torch.fx量化resnet18_cifar10
t765833631的博客
03-30 270
量化后推理时间快了一倍，并且模型精度几乎没有损耗。
resnet on cifar10实验(三值量化）
shirleycyy的博客
03-18 762
二、实验运行结果：三、tensorboard观察：1.graph2.histogram
INT8量化总结
行云
12-06 785
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIIsComing_

你的支持 是我持续创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值