NCNN Conv量化详解1

最新推荐文章于 2024-04-18 15:00:06 发布
最新推荐文章于 2024-04-18 15:00:06 发布
阅读量804 收藏 1
点赞数
分类专栏： 模型轻量化 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/129218643
版权

1. NCNN的Conv量化计算流程

正常的fp32计算中，一个Conv的计算流程如下：
在这里插入图片描述
在NCNN Conv进行Int8计算时，计算流程如下：
在这里插入图片描述
NCNN首先将输入(bottom_blob)和权重(weight_blob)量化成INT8，在INT8下计算卷积，然后反量化到fp32，再和未量化的bias相加，得到输出(top_blob)

输入和权重的量化公式：
在这里插入图片描述
由于weight_blob(int8)和bottom_blob(int8)是相乘的：
在这里插入图片描述
反量化的目的是将int8映射回原来的fp32，范围要保持一致；所以为了实现一个反映射，量化反量化的scale应该为：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
@BangBang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
python api post开发实例-Python win32api.PostMessage方法代码示例
weixin_39632057的博客
11-11 1679
本文整理汇总了Python中win32api.PostMessage方法的典型用法代码示例。如果您正苦于以下问题：Python win32api.PostMessage方法的具体用法？Python win32api.PostMessage怎么用？Python win32api.PostMessage使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在模...
NCNN的人体姿态评估模型，已做int8量化
02-12
可以输出17个点的简易姿态评估模型，我自己的企业级产品就在使用，效果还是不错的，只要背景不是乱得太可以，或者衣服的颜色与背景混合严重，基本上都是可以正常的评估出来的。这个模型的好处就是速度非常快，基本上是所有已知模型中速度最快的一个。包内的.h文件是已经被代码化后的定义文件，直接使用NCNN的二进制接口加载就可以了
ncnn源码学习（六）：模型量化原理笔记
sinat_31425585的博客
09-28 9564
1.请直接去学习大佬们的文章： 章小龙的： Int8量化-介绍（一）：https://zhuanlan.zhihu.com/p/58182172 Int8量化-python实现以及代码分析（二）：https://zhuanlan.zhihu.com/p/58208691 虫叔的： Int8量化-ncnn社区Int8重构之路（三）：https://zhuanlan.zhihu.com/p/...
MODNet官方onnx及其转换的ncnn模型、NCNN量化后模型
04-01
1、MODNet官方提供的onnx模型； 2、MODNet官方onnx模型转ncnn； 3、ncnn int8量化后的模型。
深度学习之DeepCTR
Minskyli
08-28 7442
展示广告中的深度CTR预估 摘要 1 介绍 2 相关工作 2.1 展示广告CTR预估 2.2 深度神经网络 3 方法概述 4 网络结构 5 加速训练 5.1 稀疏全连接层 5.2 数据采样 6 实验 6.1 实验设置 6.1.1 数据集 6.1.2 原型 6.1.3 评价指标 6.1.4 网络配置 6.2 结果分析与讨论 6.3 可视化Convnet 7 结论 ...
ncnn之六：ncnn量化(post-training quantization)三部曲 - ncnnoptimize
mingo_敏
02-11 3557
参考资料 1 ncnn https://github.com/Tencent/ncnn 2 NCNN Conv量化详解（一） https://zhuanlan.zhihu.com/p/71881443 3 NCNN量化详解（二） https://zhuanlan.zhihu.com/p/72375164
NCNN+Int8+yolov5部署和量化
3D视觉工坊
08-25 4000
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达【引言】 刚开始准备写yolov5+ncnn+int8量化的教程，却在yolov5的量化上遇到了麻烦，一方面是量化后速度更慢了，另一方...
DNN模型压缩：量化实验之ncnn
努力努力再努力丶的博客
09-08 757
模型压缩之ncnn量化ncnnncnn量化：8位整型的实现量化cifar_small模型 ncnn ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。nc...
ncnn 之 图优化
06-27 529
最近，ncnn release了新版本， 该版本其中一个亮点是增加了图优化，目的是使得前向图结构更加简洁， 运行速度可以加快。下面来逐一分析： 　　对于连续两个算子能否合并成一个算子，需要符合特定的条件。 (1)XXX-batchnorm int fuse_convolution_batchnorm(); // group1 int fuse_convolutiondepth...
NCNN INT8实现
weixin_41521681的博客
03-24 1479
2.4 INT8量化实现-校准实现（python） 下一篇详细说说代码实现的细节部分，以及相关的知识，比如我们为什么要做分布的smooth处理。 第三章INT8移动端实现 在这部分，我将以自顶向下的方式叙述INT8的kernel实现原理及过程，其中包括开源的NCNN INT8版本以及我优化后INT8版本（QNNPACK INT8版本在《QNNPACK调研》中有详细论述，此文略过仅在最后做数据对比）。 3.1 NCNN INT8实现 3.1.1 底层量化处理整体流程 在每层计算时是需要..
ncnn之八：ncnn量化(post-training quantization)三部曲 - ncnn2int8
mingo_敏
02-11 3554
参考资料 1 ncnn https://github.com/Tencent/ncnn 2 NCNN Conv量化详解（一） https://zhuanlan.zhihu.com/p/71881443 3 NCNN量化详解（二） https://zhuanlan.zhihu.com/p/72375164
基于ncnn部署yolov5及量化
02-15
文件中包括以下内容: 1. yolov5 转ncnn的权重文件 2. ncnn的依赖库 3. 完整的源代码
MODNet NCNN C++部署代码，及其模型
04-01
1、MODNet NCNN C++部署代码 2、MODNet NCNN量化后模型 3、MODNet NCNN未量化模型 4、MODNet onnx模型
Windows下ncnn环境配置教程详解（VS2019）
08-19
主要介绍了Windows下ncnn环境配置（VS2019）,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
Python实现深度学习
weixin_45570158的博客
04-17 404
这个代码首先定义了一个简单的全连接神经网络，然后在一个训练循环中训练这个网络。在每个训练步骤中，它都会进行前向传播以计算损失，然后进行反向传播以计算梯度，并最后更新网络的权重。训练完成后，代码会在测试集上评估模型的准确性。在Python中实现深度学习，最常用的库是TensorFlow和PyTorch。以下是一个使用PyTorch的简单深度学习模型示例，用于图像分类任务（例如，MNIST手写数字识别）。首先，确保你已经安装了PyTorch。
深度学习发展中的继承和创新
最新发布
xw555666的博客
04-18 546
深度学习是一步一步发展而来的，新的成就也是在原有的基础上，逐步取得突破，有一些东西是一点一点变化，突破发展而来的，也就是每一次小的突破和每一次小的突破累积起来，构成一个明显的进步。我们可以通过观察其中不变的东西，同时仔细考量其中变化的东西，我们就能够看出一些端倪，也会更有把握和信心。
深度学习驱动的流体力学计算与应用
y2715163545的博客
04-17 1047
在深度学习与流体力学深度融合的背景下，科研边界不断拓展，创新成果层出不穷。从物理模型融合到复杂流动模拟，从数据驱动研究到流场智能分析，深度学习正以前所未有的力量重塑流体力学领域。
深度学习使用Accelerate库
m0_52474839的博客
04-16 280
使用accelerate库
机器学习和深度学习常见算法
计算机爱好者
04-12 1112
通过上述对比，我们可以看到不同的算法有各自的特点和适用场景。选择合适的算法需要根据具体问题的性质、数据的特点以及性能要求来决定。在实际应用中，可能需要结合多种算法或者对算法进行改进以达到最佳效果。
NCNN int8量化
09-06
NCNN int8量化是指在NCNN框架中将CNN模型从float32转换为INT8的过程。这种量化方法可以减小模型的大小、提升运行速度，而对精度的降低相对较小。在实际中，有多种方法可以实现NCNN int8量化，其中包括基于腾讯的NCNN...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值