20210906:Hisi量化篇4-模型剪枝

已于 2022-12-27 11:05:44 修改
阅读量491 收藏 3
点赞数 1
分类专栏： AI-嵌入式-部署 文章标签： 深度学习 Hisi 量化 网络剪枝
于 2021-09-06 15:00:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/120130939
版权

本篇主要介绍网络剪枝可以极大改善量化损失

如有错误和不当之处，望指教！

根据我自己工作遇到的海思量化精度问题，以及如何改善和提升精度，整理记录而成。

网络剪枝的好处是啥？

1：在保持精度的条件下，可以降低运算量和参数量【毕竟端侧设备推理性能是在有限】

  • 从下图可以看出，不同的prune-ratio，精度都还可以
  • flops可以降低1/3，params可以降低1/2
  • 如果好好在调参，应该可以进一步剪枝

2：可以减少量化损失

数据：我司自有的活体ir数据

网络：mobilenet-v2

部署：Hisi -DV300

精度：compile_mode = High-precision（FP16）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
20210902:Hisi量化篇2-模型择优
微风❤水墨
09-02 859
本篇主要介绍如何判定自己训练模型的量化损失以及如何选择最优的模型去量化 如有错误和不当之处，望指教！ 根据我自己工作遇到的海思量化精度问题，以及如何改善和提升精度，整理记录而成。 模型转换量化的一般流程： 1：训练模型（fp32) 2：模型选优，依据acc或者loss 2：量化模型（int8/fp16） 3：单图比较输出相似度 4：多图评测ROC，验证精度+选择合适阈值（约等指数） 一般在第3或者第4步才发现量化后，精度损失严重，甚至不能使用。 举个亲身例子： 我在训练活体模型
SSD和Mobilenet SSD模型的训练，量化以及在海思芯片上的部署
06-21
本课程手把手讲解Caffe SSD框架代码编译和安装过程，并详细介绍如何基于一个无人零售商品数据集来成功训练出SSD和Mobilenet SSD模型，然后将它们量化且移植到海思开发板上正确运行。 课程主要内容有： 1. caffe SSD框架代码下载及其编译 2.基于无人零售商品数据集训练SSD  a）无人零售数据集介绍   b）模型训练3 SSD模型原理及其default box概念介绍4 SSD wk模型生成及其仿真验证  a）3519av100 sdk010提供  b）模型的量化  c）仿真代码讲解及其运行5 量化模型在板载上运行6 caffe mobilenet ssd框架下载及其编译7 深度可分离卷积运算概念8 基于无人零售商品数据集的Mobilenet SSD模型训练9 Mobilenet SSD模型量化及其仿真10 Mobilenet SSD量化模型板载运行
20210901:Hisi量化篇1-损失来源
微风❤水墨
09-01 483
本文如有错误和不当之处，望指教！ 主要记录工作中针对Hisi量化的学习过程以及面临的海思量化损失调整过程： 经过查阅资料：了解海思的量化分为权重量化（weight+bias） + 激活量化（featuremap） 1：NNIE 量化感知训练https://zhuanlan.zhihu.com/p/223018242 2：Hisi量化库使用指南 ...
20210906:Hisi量化篇3-权值约束
微风❤水墨
09-23 355
本篇主要介绍网络剪枝最后一层数值精度下溢调优 如有错误和不当之处，望指教！ 根据我自己工作遇到的海思量化精度问题，以及如何改善和提升精度，整理记录而成。 回想一下上篇文章的遗留问题： layer(name:413)连接fc层，不能对其修剪，所以权值偏小【精度下溢】的情况也迁移过来了。 如何处理这个问题呢？ 之前一直听到过梯度裁剪【约束】，那么权重是不是也可以？反正剪枝完都要finetune的，稍微裁剪约束一下应该是没有问题的。经过实验，确实可以，美滋滋！ 把约束前后的权重数值都保存一.
hisi-irda_hisi-irda_
10-02
this is code for hi3520d irda
extdrv.zip_hisi_threwu4w
09-20
hisi 1.0.0.3 sdk extdrv
hi3531-gpio:这是我的hisi-gpio开发项目
05-21
<<<<<<< HEAD＃hi3520d_gpio hi3531-gpio 这是我的hisi-gpio开发项目 bb2db20282908ca4901c87bfcee10332b3d5e710
hisi-reboot.rar_HiSilicon_SOC_hisi
09-20
Hisilicon SoC reset code for Linux v2.13.6.
packages:新的OpenIPC软件包提要-未来派
03-13
新的OpenIPC软件包提要-未来派
深度学习之基于YoloV5+LPRNet车牌识别系统
2301_79809972的博客
05-18 972
一、项目背景与意义在智能交通管理系统中，车牌识别技术是一项至关重要的技术。随着车辆数量的不断增长和交通环境的日益复杂，对车牌进行准确、快速的识别已成为现代交通管理不可或缺的一部分。为了满足这一需求，本项目采用了先进的YOLOv5和LPRNet算法，结合深度学习技术，开发了一套高效的车牌识别系统。二、技术原理该系统基于深度学习和目标检测技术，整合了YOLOv5目标检测框架和LPRNet文本识别模型。YOLOv5算法在目标检测领域具有出色的性能，能够快速、准确地检测图像中的目标；
深度学习之基于Yolov7驾驶员疲劳检测系统
2301_79809972的博客
05-17 959
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
深度学习之基于Tensorflow卷积神经网络花卉识别系统
2301_79809972的博客
05-18 769
一、项目背景与目标随着人工智能技术的不断发展，图像识别技术已经广泛应用于各个领域。在植物学领域，自动识别花卉种类对于植物分类、生态保护以及园艺应用具有重要意义。传统的花卉识别主要依赖于人工分类和鉴定，这种方法耗时且容易受主观因素影响。因此，开发一个基于深度学习的花卉识别系统，实现自动化、准确的花卉分类与识别，成为当前研究的热点。本项目旨在利用Tensorflow深度学习框架，构建一个基于卷积神经网络（CNN）的花卉识别系统。
深度学习之基于YoloV5钢材表面缺陷检测
2301_79810943的博客
05-18 981
一、项目背景与意义在钢铁生产过程中，钢材表面的缺陷检测是一个至关重要的环节。传统的检测方法往往依赖于人工视觉检测，这种方法不仅效率低下，而且容易受到人为因素的影响，导致检测结果的准确性和稳定性难以保证。随着深度学习技术的快速发展，基于深度学习的目标检测算法在图像识别领域取得了显著成果。其中，YoloV5（You Only Look Once version 5）作为一种高效且准确的目标检测算法，被广泛应用于各种实际场景中。
基于深度学习(Resnet+Vgg)肺炎CT图像检测诊断系统
2301_79809972的博客
05-17 499
一、项目背景随着全球健康问题的日益严重，肺炎作为一种常见的呼吸道疾病，其早期诊断和治疗显得尤为重要。然而，传统的肺炎诊断方法主要依赖于医生的临床经验，存在一定的主观性和误差。近年来，深度学习技术的快速发展为肺炎CT图像检测诊断提供了新的解决方案。本项目旨在利用ResNet和VGG两种深度学习模型，结合CT图像数据，构建一个高效、准确的肺炎检测诊断系统。二、项目目标。
深度学习之激活函数——ELU
m0_61787307的博客
05-18 920
指数线性单元(ELU)，全称Exponential Linear Units，使用了指数作为激活函数的一部分。
深度学习之基于YoloV8表情情绪识别系统
2301_79809972的博客
05-17 358
一、项目背景在人工智能和计算机视觉的交叉领域中，表情情绪识别一直是一个热门且富有挑战性的研究方向。随着深度学习技术的不断发展，尤其是目标检测算法的进步，YOLOv8作为一种高效且精确的目标检测框架，为表情情绪识别提供了新的可能性。本项目旨在利用YOLOv8深度学习框架，结合先进的计算机视觉技术，开发一个能够实时、准确地识别和理解人类面部表情情绪的系统。二、项目目标。
深度学习之基于YoloV5钢材微小缺陷检测系统
最新发布
2301_79809972的博客
05-21 246
一、项目背景与目标在钢材生产过程中，由于各种因素，钢材表面可能会出现微小缺陷，如裂纹、气孔等。这些缺陷如果不及时发现和处理，将会严重影响钢材的质量和安全性。因此，开发一个能够准确、快速地检测钢材微小缺陷的系统显得尤为重要。本项目旨在利用深度学习技术，具体是YOLOv5算法，构建一个钢材微小缺陷检测系统，以提高钢材生产的质量控制水平。二、技术选型与特点YOLOv5算法：YOLOv5是一种实时目标检测算法，具有高效、准确的特点。
深度学习之基于Matlab编写BP神经网络汉字识别系统
2301_79809972的博客
05-18 609
一、项目背景与意义随着信息技术的快速发展，文本识别和处理技术在各个领域中扮演着越来越重要的角色。汉字作为世界上最古老、最复杂的文字之一，其识别技术对于中文信息处理具有重要意义。传统的汉字识别方法依赖于人工操作和复杂的特征提取过程，不仅效率低下，而且容易受到光照、噪声等因素的影响。因此，开发一个基于深度学习的汉字识别系统，实现自动化、准确的汉字识别，具有广阔的应用前景和重要的实际意义。本项目旨在利用Matlab编程环境和BP神经网络算法，构建一个汉字识别系统。
repo forall -c 报HiDPTAndroid/art: ManifestInvalidRevisionError: revision hisi-master in HiDPTAndroid/art not found
06-06
这个错误可能是因为 `repo` 工具无法找到你指定的分支或者标签。请确保你指定的分支或者标签存在于每个 Git 仓库中。 你可以尝试使用以下命令来查看每个仓库中是否存在指定的分支或者标签： ``` repo forall -c 'git rev-parse --verify <branch-or-tag>' -r <remote-name> ``` 其中，`<branch-or-tag>` 是你要验证的分支或标签的名称，`<remote-name>` 是你要在其中执行操作的 Git 仓库的名称。 如果某个仓库不存在指定的分支或标签，你可以尝试在该仓库中使用以下命令创建该分支或标签： ``` repo forall -c 'git fetch && git checkout <branch-or-tag>' -r <remote-name> ``` 这会在每个仓库中执行 `git fetch` 命令，然后切换到指定的分支或标签。 如果你仍然遇到问题，请确保你的 `repo` 工具和 Git 版本都是最新的，并仔细检查你的命令和参数是否正确。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值