NCNN量化详解2

最新推荐文章于 2024-04-23 17:09:00 发布
最新推荐文章于 2024-04-23 17:09:00 发布
阅读量310 收藏
点赞数
分类专栏： 模型轻量化 文章标签： 算法 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/129219365
版权

1 NCNN量化算法简介

量化算法介绍的文章的话，下面这篇文章的大佬 @章小龙 介绍的比我好多啦。虽然介绍的是NVIDIA TensorRT的算法，但是NCNN是参考其算法做出来的，方法几乎一样

首先NVIDIA有一个PPT，很好的阐述了他们的方案，推荐大家也去看一下：
https://link.zhihu.com/?target=http%3A//on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf

变换公式
正常的量化，FP32 Value 和 INT8 Value之间的关系是这样的：
在这里插入图片描述
NVIDIA表示，Bias是没用的，因此变成了一个线性公式：
在这里插入图片描述
取值范围
由于float32的取值范围几乎是

了解本专栏 订阅专栏 解锁全文 超级会员免费看
@BangBang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
NCNN的人体姿态评估模型，已做int8量化
02-12
可以输出17个点的简易姿态评估模型，我自己的企业级产品就在使用，效果还是不错的，只要背景不是乱得太可以，或者衣服的颜色与背景混合严重，基本上都是可以正常的评估出来的。这个模型的好处就是速度非常快，基本上是所有已知模型中速度最快的一个。包内的.h文件是已经被代码化后的定义文件，直接使用NCNN的二进制接口加载就可以了
【NCNN】腾讯ncnn推理框架的简介及安装
种一棵树最好的时间是十年前，其次是现在
07-20 4338
ncnn（Ncnn Convolutional Neural Network）是一个轻量级的高性能深度学习框架，由腾讯公司开发。它专门为移动设备和嵌入式设备优化，旨在提供高效的推理性能和低内存占用。以下是ncnn的一些主要特点和优势：轻量级和高性能：ncnn被设计为轻量级框架，具有高效的推理性能。它使用优化的计算图和内存管理策略，以最大程度地减少内存占用和计算开销。跨平台支持：ncnn支持多种操作系统和硬件平台，包括Android、iOS、Linux、Windows等。
移动端机器学习框架ncnn简介与实践
hansun008的博客
12-04 1686
腾讯优图ncnn提供的资料显示：对比目前已知的同类框架，ncnn是 CPU 框架中最快的，安装包体积最小，跨平台兼容性中也是最好的。以苹果主推的 CoreML 为例，CoreML 是苹果主推的 iOS GPU 计算框架，速度非常快，但仅支持 iOS 11 以上的 iPhone 手机，落地受众太狭窄，非开源导致开发者无法自主扩展功能，对开源社区不友好。ncnn 提供了注册自定义层实现的扩展方式，可以将自己实现的特殊层内嵌到 ncnn 的前向计算过程中，组合出更自由的网络结构和更强大的特性。
NCNN简单入门及安装
程序员深度学习
07-06 4224
1.在电脑端使用ncnn实现分类(alexnet) s1，安装g++，cmake，protobuf，opencv s2，对源码进行编译 git clone https://github.com/Tencent/ncnn $ cd <ncnn-root-dir> $ mkdir -p build $ cd build $ cmake .. $ make -j4 s3，准备caffe模...
ncnn
爱CV
12-20 1173
1.图像预处理 ncnn::Mat 1.1 from_pixels_resize() 生成目标尺寸大小的网络输入Mat mat_pixel.cpp 双线性插值图像形变 resize_bilinear_c1/c2/c3/4 1通道/2通道/3通道/4通道 图像变形算法 mat_pixel_resize.cpp 像素图像 转换成ncnn::Mat Mat::from_pixels() >>> 不同类型 from_rgb() 像素数据指针rgb间隔 依次赋值给Mat的三个通道的指针
ncnn数据归一化和结果解析
tongshen的博客
04-16 2103
《ncnn数据归一化和结果解析》   近两年都在使用ncnn进行工程化部署，这里记录一下ncnn进行数据归一化的运算，以及得到的结果ncnn::Mat如何解析。 Key Words：ncnn、数据归一化、结果解析 Beijing, 2020 Agile Pioneer   inference 数据标准化 // for color image const float mean_v...
ncnn源码分析1
AIxuxu
05-06 1966
        前段时间，分别尝试了使用腾讯开源的深度学习推理框架ncnn、陈天奇大神团队开源的tvm，及最新的阿里开源mnn，就好用程度来说，腾讯的n...
【ncnn】源码阅读理解(七)——ncnn::Extractor
怡宝2号
04-12 1767
ncnn中做了三层封装，分别是layer，net，extractor。extractor是最后一道封装，也是实现前向推理流程的部件。 1. 传入图像数据 ex.input("data", in); // 传入图像数据 int Extractor::input(const char* blob_name, const Mat& in) { int blob_index = ...
腾讯优图NCNN详细分析及实践操作（含Yolov5实践）
gzq0723的博客
11-23 3826
欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者：Edison_G11 月 19 日，历经数月打磨，由InfoQ发起并组织，共有300+参评项目，100+入围项目，10000+开发者...
ncnn 模型加密笔记
jacke121的专栏
12-02 1423
ncnn 模型加密笔记
MODNet官方onnx及其转换的ncnn模型、NCNN量化后模型
04-01
1、MODNet官方提供的onnx模型； 2、MODNet官方onnx模型转ncnn； 3、ncnn int8量化后的模型。
基于ncnn部署yolov5及量化
02-15
文件中包括以下内容: 1. yolov5 转ncnn的权重文件 2. ncnn的依赖库 3. 完整的源代码
MODNet NCNN C++部署代码，及其模型
04-01
1、MODNet NCNN C++部署代码 2、MODNet NCNN量化后模型 3、MODNet NCNN未量化模型 4、MODNet onnx模型
可被ncnn框架载入的yolo2模型
10-23
这里只是模型，代码可以参考博客：https://blog.csdn.net/sinat_31425585/article/details/83243961
FloodFill算法简介（用BFS、DFS算法解决）
2301_76197086的博客
04-18 392
FloodFill算法简介
DFS与回溯专题：路径总和问题
孤舟一叶～的博客
04-19 713
对二叉树进行dfs搜索，递归计算每条路径的节点值之和，当某个节点的左右子节点都为空时，说明已经搜索完成某一条路径，将它与目标值进行比较，若相等，则为true。路径恢复： 向上回溯前，需要将当前节点从路径 list 中删除，即执行list.remove(list.size() - 1)。为什么要写list_all.add(new ArrayList(list))，而不是list_all.add(list)？注意：解释里面的sum.add(path)就是list_all.add(list)
代码随想录算法训练营day40
最新发布
weixin_43390031的博客
04-23 119
1为头，左子树节点个数为0，右子数节点个数为2，即dp[0]*dp[2]，2为头，dp[1]*dp[1]，3为头dp[2]*dp[0]。故对dp[i]，我们也考虑1到i为头节点的数量相加，dp[i]=dp[0]*dp[i-1]+dp[1]*dp[i-2]+…时间复杂度O(n^2)。(i-2)取最大值，综合讨论一下就是拆成i-j和j，然后比较dp[i-j]*j和(i-j)*j的最大值，这里因为dp[i-j]必须要进行至少拆成两个数，所以没有包含i-j，故我们还需要比较i-j，递推公式就是。
【算法学习】线段树基础版
weixin_55939638的博客
04-23 257
根结点维护的是区间1 到 4，结点权值是该区间的和，再将区间一份为二，其左儿子维护的是 1 - 2，右儿子维护的是 3 - 4 ，以此类推，直到结点维护的区间长度为1。线段树可以理解为一个二叉树，如果是利用线段树求区间的和，那么每个结点的权值维护的是结点所维护区间的和，再将该区间一分为二，分别交由左右儿子维护。从根节点开始，目标区间和左子树有交集，递归左子树，目标区间和右子树有交集 ，递归右子树；从根节点开始，目标区间和左子树有交集，递归左子树，目标区间和右子树有交集 ，递归右子树；
[C++][算法基础]判定质数(试除法)
Caveira271_的博客
04-17 418
给定 n 个正整数 ai，判定每个数是否是质数。
NCNN int8量化
09-06
NCNN int8量化是指在NCNN框架中将CNN模型从float32转换为INT8的过程。这种量化方法可以减小模型的大小、提升运行速度，而对精度的降低相对较小。在实际中，有多种方法可以实现NCNN int8量化，其中包括基于腾讯的NCNN...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值