20210901:Hisi量化篇1-损失来源

已于 2022-12-27 11:04:51 修改
阅读量483 收藏
点赞数
分类专栏： AI-嵌入式-部署 文章标签： 量化 Hisi 人工智能 深度学习
于 2021-09-01 19:09:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/120046698
版权

本篇主要介绍如何Hisi量化损失来源

如有错误和不当之处，望指教！

根据我自己工作遇到的海思量化精度问题，以及如何改善和提升精度，整理记录而成。

经过查阅资料：了解海思的量化分为权重量化（weight+bias） + 激活量化（featuremap）

所以优化方向就针对这两种损失：优化权重+优化激活。

后续文章会逐步展开：损失判定，模型择优，剪枝训练，模型微调等

1：NNIE 量化感知训练 NNIE量化算法及实现 - 知乎

2：Hisi量化库使用指南 

微风❤水墨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
20210902:Hisi量化篇2-模型择优
微风❤水墨
09-02 859
本篇主要介绍如何判定自己训练模型的量化损失以及如何选择最优的模型去量化 如有错误和不当之处，望指教！ 根据我自己工作遇到的海思量化精度问题，以及如何改善和提升精度，整理记录而成。 模型转换量化的一般流程： 1：训练模型（fp32) 2：模型选优，依据acc或者loss 2：量化模型（int8/fp16） 3：单图比较输出相似度 4：多图评测ROC，验证精度+选择合适阈值（约等指数） 一般在第3或者第4步才发现量化后，精度损失严重，甚至不能使用。 举个亲身例子： 我在训练活体模型
hisi-irda_hisi-irda_
10-02
this is code for hi3520d irda
【yolov4-tiny】三、NNIE小结
加盐
04-09 2728
序 【yolov4-tiny】一、darknet-＞caffe 【yolov4-tiny】二、pytorch-＞onnx-＞caffe 前文使用两种途径将yolov4-tiny转为caffe，此后只需根据海思的HiSVP开发指南.pdf操作将caffe转为nnie，本文记录几点注意事项： 1、输入预处理 nnie_mapper 配置选项中配置了输入图片归一化的话，不需要在模型代码中自己再写一遍归一化。 nnie模型的默认输入为BGR格式，nnie_mapper 配置选项中配置了 RGB 的话模型会自己进行一
风控笔记-量化损失
chickendaddy的博客
09-07 202
dsad
【模型压缩】量化精度损失分析
AI知识搬运工
02-16 4846
1, 如何进行模型量化？ 按照量化阶段的不同，一般将量化分为 quantization aware training(QAT) 和 post-training quantization(PTQ)。QAT 需要在训练阶段就对量化误差进行建模，这种方法一般能够获得较低的精度损失。PTQ 直接对普通训练后的模型进行量化，过程简单，不需要在训练阶段考虑量化问题，因此，在实际的生产环境中对部署人员的要求也较低，但是在精度上一般要稍微逊色于 QAT。本文介绍的主要方法也是针对 PTQ 。关于 QAT 的内容，因为..
20210906:Hisi量化篇3-权值约束
微风❤水墨
09-23 355
本篇主要介绍网络剪枝最后一层数值精度下溢调优 如有错误和不当之处，望指教！ 根据我自己工作遇到的海思量化精度问题，以及如何改善和提升精度，整理记录而成。 回想一下上篇文章的遗留问题： layer(name:413)连接fc层，不能对其修剪，所以权值偏小【精度下溢】的情况也迁移过来了。 如何处理这个问题呢？ 之前一直听到过梯度裁剪【约束】，那么权重是不是也可以？反正剪枝完都要finetune的，稍微裁剪约束一下应该是没有问题的。经过实验，确实可以，美滋滋！ 把约束前后的权重数值都保存一.
hi3531-gpio:这是我的hisi-gpio开发项目
05-21
<<<<<<< HEAD＃hi3520d_gpio hi3531-gpio 这是我的hisi-gpio开发项目 bb2db20282908ca4901c87bfcee10332b3d5e710
hisi-reboot.rar_HiSilicon_SOC_hisi
09-20
Hisilicon SoC reset code for Linux v2.13.6.
packages:新的OpenIPC软件包提要-未来派
03-13
新的OpenIPC软件包提要-未来派
hisi-i2c-3515
05-09
海思平台上3511-3520如何用寄存器操作i2c的linux驱动
RANSAC算法概述
最新发布
点云侠的博客
05-20 448
RANSAC算法概述
智能决策引擎架构设计
猫七姑娘的小博客
05-15 1438
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
2024第二届全国人工智能应用场景创新挑战赛
audyxiao001的博客
05-14 787
本文从竞赛模式、参赛组别和条件、参赛注意事项以及赛程设置四个角度介绍了第二届全国人工智能应用场景创新挑战赛，并给出大赛官网，以便读者了解更多详细信息。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1103
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
长江商学院隽永参访实在智能，沉浸体验实在Agent
SHIZAIZHINENG的博客
05-16 540
长江隽永是中国首个全方位关注并赋能“她价值”的女性成长平台，此次参访实在智能，旨在深入学习并交流最前沿的Agent技术，引导企业进行科学决策和组织变革，从而帮助企业从个体成长跃升为具有全球视野的数字化领导者。随着数字化技术的不断发展，人工智能、虚拟现实等新技术的的应用已经深入社会的方方面面，并在不断地释放着创新的活力，AI+RPA技术的涌现，外加人力成本的大幅度增加，使得企业对智能数字员工的服务需求越来越大。实在智能创始人、CEO孙林君和实在伙伴一同接待。
ROCm上运行预训练BERT
数字人生
05-19 623
此外，由"#<save>"标记的部分，是保存函数定义的提示，便于以后的复用。请注意，由于硬件和软件的快速发展，具体的安装和配置步骤可能会随着时间而变化，因此建议查阅最新的ROCm和相关深度学习框架的官方文档。因此，在使用ROCm时可能会遇到一些挑战和限制。此外，由于ROCm和BERT都是不断发展的技术，建议您查阅最新的官方文档和社区讨论，以获取最准确的安装和运行指南。要在ROCm上运行预训练的BERT模型，您需要确保您的系统已经安装了支持ROCm的TensorFlow版本，并且已经正确配置了相关的环境。
四非、双非计算机保研夏令营入营情况
小蒋的博客
05-19 584
厦大 信息学院，电影学院，CS，人工智能浙软（海营，预推免入场券）、工程师华东科技大学网安中国科学技术大学 先进技术研究院，空间应用工程与技术中心，信工所，软件所，计算与网络中心，计算技术研究所北京师范大学 认知神经科学与学习国家重点实验室山东大学 网络空间与安全学院，SE天津大学 智能与计算机学部华中师范大学 计算机学院、大数据北航计算机南开计算机，SE吉大计算机、SE、人工智能湖南信息山大计院（不发offer），网安成电计算机，网安。
2024成都现代职业教育及装备展6月1日举办 免费参观
wb253228的博客
05-14 703
2024成都现代职业教育及装备展6月1日举办 免费参观同期举办：中国西部职业教育产教融合高峰论坛 主办单位： 中国西部教体融合博览会组委会承办单位：重庆港华展览有限公司博览会主题：责任教育 职教兴邦组委会：交易会159交易会2351交易会9466展会和论坛背景：为推动中国职业教育产业新发展、满足时代新需求，2024第16届中国西部（成都和重庆）现代职业教育及装备博览会及中国现代职业教育产教融合国际高峰论坛在西部重镇成都举办。立足西部，覆盖全球，打造世界职业教育产业链上下游的合作、交流平台，促进产教融合和
AIGC是什么?
米的
05-15 1295
AIGC，全称为Artificial Intelligence Generated Content，即人工智能生成内容，是当前AI技术发展的一个重要方向。这项技术利用机器学习、深度学习、自然语言处理以及其他高级算法，使计算机系统能够自动或辅助生成包括文字、图像、音频、视频、3D模型等多种形式的创意内容。AIGC不仅代表了从人工智能1.0向2.0时代的转变，还标志着AI在认知智能层面的巨大进步，为内容创造开启了全新的可能性。
repo forall -c 报HiDPTAndroid/art: ManifestInvalidRevisionError: revision hisi-master in HiDPTAndroid/art not found
06-06
这个错误可能是因为 `repo` 工具无法找到你指定的分支或者标签。请确保你指定的分支或者标签存在于每个 Git 仓库中。 你可以尝试使用以下命令来查看每个仓库中是否存在指定的分支或者标签： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值