AOE工程实践-NCNN组件

最新推荐文章于 2023-12-09 14:09:39 发布
最新推荐文章于 2023-12-09 14:09:39 发布
阅读量274 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liubyebye/article/details/100692131
版权
本文介绍了在AOE工程中封装腾讯的NCNN框架，以提高移动端神经网络前向计算性能。通过创建独立的NCNN组件，降低了业务组件与NCNN的耦合度，支持多输入多输出，利用ByteBuffer提升效率，并简化了SqueezeNet Sample的代码结构。此外，文章讨论了组件接入方式和未来优化方向。
摘要由CSDN通过智能技术生成

作者：杨科

NCNN是腾讯开源的一个为手机端极致优化的高性能神经网络前向计算框架。在AOE开源工程里，我们提供了NCNN组件，下面我们以SqueezeNet物体识别这个Sample为例，来讲一讲NCNN组件的设计和用法。

直接集成NCNN缺点

为SqueezeNet接入NCNN，把相关的模型文件，NCNN的头文件和库，JNI调用，前处理和后处理相关业务逻辑等。把这些内容都放在SqueezeNet Sample工程里。这样简单直接的集成方法，问题也很明显，和业务耦合比较多，不具有通用性，前处理后处理都和SqueezeNcnn这个Sample有关，不能很方便地提供给其他业务组件使用。深入思考一下，如果我们把AI业务，作为一个一个单独的AI组件提供给业务的同学使用，会发生这样的情况：
在这里插入图片描述
每个组件都要依赖和包含NCNN的库，而且每个组件的开发同学，都要去熟悉NCNN的接口，写C的调用代码，写JNI。所以我们很自然地会想到要提取一个NCNN的组件出来，例如这样：
在这里插入图片描述

AOE SDK里的NCNN组件

在AOE开源SDK里，我们提供了NCNN组件，下面我们从4个方面来讲一讲NCNN组件：</

最低0.47元/天 解锁文章
普惠产品技术
关注
极智AI | ncnn 新增 upsample cpu 算子方法
极智视界
03-14 960
大家好，我是极智视界。本文介绍了 ncnn 新增 upsample cpu 算子的方法。
rife-ncnn-vulkan:RIFE，使用ncnn库实现的视频帧插值实时中间流估计
05-08
Rife-ncnn-vulkan使用作为通用神经网络推理框架。 下载适用于Intel / AMD / Nvidia GPU的Windows / Linux / MacOS可执行文件 该软件包包括所需的所有二进制文件和模型。 它是可移植的，因此不需要CUDA或PyTorch...
ncnn::Mat float 输入与cv::Mat 的转化
03-21 2352
ncnn 官方文档很少，自己摸索写了例子 #include <opencv2\opencv.hpp> #include <map> #include <vector> #include <algorithm> #include <functional> #include <cstdlib> #include <iostream> #include <stdio.h> #include <st...
YOLOv5-Lite:NCNN流程跑通
wzw773828204的博客
09-27 1908
Android端跑通Yolov5-Lite全流程
求AOE网络工程最短完成时间并输出所有关键路径
2301_76202645的博客
12-09 462
用字符文件提供数据建立AOE网络合适的存储结构。计算工程的最短完成时间并输出所有的关键路径。输出的每条关键路径用顶点序号或字母的拓扑有序序列表示。输出结果用另一字符文件保存。
腾讯移动端推理框架NCNN
smartcat2010的博客
02-16 2347
ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。 支持大部分常用的 CNN 网络: Classical CNN: VGG AlexNet GoogleNet Inception … Practical CNN: ResNet DenseNet SENet FPN … Light-weight CNN: SqueezeNet MobileNetV1/V2/V3 Shuffl
realsr-ncnn-vulkan:使用ncnn库实现RealSR超分辨率
03-31
realsr-ncnn-vulkan使用作为通用神经网络推理框架。 下载适用于Intel / AMD / Nvidia GPU的Windows / Linux / MacOS可执行文件 该软件包包括所需的所有二进制文件和模型。 它是可移植的，因此不需要CUDA或Caffe...
srmd-ncnn-vulkan:通过ncnn库实现SRMD超分辨率
04-14
srmd-ncnn-vulkan使用作为通用神经网络推理框架。 下载适用于Intel / AMD / Nvidia GPU的Windows / Linux / MacOS可执行文件 该软件包包括所需的所有二进制文件和模型。 它是可移植的，因此不需要CUDA或Caffe运行...
sherpa-ncnn，语音识别模型文件
最新发布
04-18
语音识别系统通常由多个组件构成，包括预处理、特征提取、声学模型、语言模型和解码器等步骤。在sherpa-ncnn模型中，这些步骤都被高效地封装在一起，为用户提供了一种便捷的语音识别解决方案。以下是这个模型文件所...
Android-Opencv-Ncnn实现图片人像换背景-前言(资源准备)-实时摄像头抠像
02-27
在Android平台上，结合OpenCV和ncnn库实现图片人像换背景及实时摄像头抠像是一项技术密集型的任务。本文将详细介绍这一过程中的关键知识点，并提供一个基础的资源准备指南。 首先，OpenCV是一个强大的计算机视觉库...
ncnnRay:ncnnRay ++是基于CMake的raylib和非常流行的腾讯ncnn深度学习库的集成。 ncnn用C ++编写，并且（但不仅限于）为边缘计算设备设计的。 该项目取决于Vulkan SDK（Vulakn是Khronos的GPU图形和计算API）
04-23
ncnnRay ++：rayib UI和腾讯ncnn C ++ AI平台的CMake / WASM集成。 ••••• 关于 可在此处获得实时WebAssembly / HTML5浏览器演示： ncnnRay ++是raylib （ https://www.raylib.com/examples.html ）和非常流行的ncnn（ https://github.com/Tencent/ncnn ）深度学习库的基于CMake的集成。 ncnn是用C ++（但不仅限于）为边缘计算设备设计的。 该项目取决于Vulkan SDK（Vulakn是Khronos的GPU图形和计算API）。 没有读取和写入图像/视频或其他任何内容的OpenCV依赖项。 一切都是使用stb_image包含的。 该库包括ray Image， ncnn::Mat和PNG lib之间的转换工具，所有这些工具都可以互换。
ncnn的编译和使用
lucifer_24的博客
05-11 5515
1.opencv 要做图像识别首先编译opencv2.4。官网下载opencv2.4 1 unzip opencv-3.2.0.zip 2 cd ~/opencv-3.2.0 3.编译opencv　　 cd ~/opencv-3.2.0 mkdir build cd build cmake … make -j8 如果出现这个错误： CMakeFiles/Makefile2:890: recip...
ncnn网络框架使用指南
网易搬砖选手
11-13 2634
下面以在ncnn上实现caffe网络模型为例，和大家分享下ncnn这个牛叉的网络框架的使用指南。 准备caffe网络和模型 caffe 的网络和模型通常是搞深度学习的研究者训练出来的，一般来说训练完会有 train.prototxt deploy.prototxt snapshot_10000.caffemodel 部署的时候只需要 TEST 过程，所以有 deploy.prototxt 和 caffemodel 就足够了 alexnet 的 deploy.prototxt 可以在这里下载ht.
AOE网络与关键路径（一）
热门推荐
Zenail的专栏
04-07 1万+
1、与AOV网络密切相关的是AOE网络。如果在DAG中用有向边表示一个工程的各项活动，用有向边上的权值表示活动的持续时间，用顶点表示事件，则这种有向图叫做用边表示活动的网络（Activity On Edge），简称AOE网络； 2、由于整个工程只有一个开始点和一个完成点，所以称开始点（入度为0）的点为源点，称结束点（出度为0）为汇点； 3、AOE网络在某些方面（如工程估算）非常有用，例如，
tflite Interpreter有多个outputs，获取的方法
jignjingfan的博客
07-17 1846
普通获取： interpreter.run(input,output); tflite Interpreter的源码 public void run(Object input, Object output) { Object[] inputs = new Object[]{input}; Map<Integer, Object> outputs = new HashMap(); outputs.put(0, outp
NCNN cmake VS2017 编译
图像研究猿的专栏
06-18 2283
我的电脑配置是windows 10，cmake-3.12.0-win64-x64，VS2017 以下命令行均使用适用于 VS 2017 的 x64 本机工具命令提示 ，可以在开始菜单那搜索到，如下图。 编译安装 protobuf https://github.com/google/protobuf/archive/v3.4.0.zip 下载到 C:/software 解压缩 mk...
Android NDK 编译 TensorflowLite 的笔记
时空间隙
10-23 2849
Android NDK 编译 TensorflowLite 的笔记 互联网上有很多关于 TensorflowLite 的 Android JNI 编译方法，但关于 TensorflowLite 本身的编译却不太好找。因此，我把自己的相关经验做一个总结分享。分享前先感谢一下小雨同学和谷歌 TensorflowLite 团队的一位朋友，他们为我提供了宝贵的经验和建议。 官网方法 Tensorflow ...
tensorflow模型转ncnn
Matthew技术小站
02-28 3897
第一步把tensorflow保存的.ckpt模型转为pb模型, 并记下模型的输入输出名字. 第二步去ncnn的github上把仓库clone下来, 按照上面的要求装好依赖并make. 第三步是修改ncnn的CMakeList, 具体修改的位置有: ncnn/CMakeList.txt 文件, 在文件开头处加入add_definitions(-std=c++11), 末尾处加上add_subdir...
sherpa-ncnn
07-13
Sherpa-NCNN 是一个基于 C++ 的轻量级神经网络推理框架，它专门针对移动设备和嵌入式系统进行了优化。Sherpa-NCNN 的目标是提供高性能、低延迟的推理能力，以满足移动设备上的实时应用需求。该框架使用了 ncnn 库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值