推理引擎：tnn & ncnn & 自研

最新推荐文章于 2024-04-06 00:56:31 发布
最新推荐文章于 2024-04-06 00:56:31 发布
阅读量814 收藏 1
点赞数
分类专栏： 移动端 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JNingWei/article/details/121112519
版权

经验总结

  • 目前开源的框架int推理做的都比较一般，有比较大的优化空间。
  • 在我们测试的case下，tnn相对来说会比ncnn好一些。
  • 不少大点的公司主要还是基于开源版本，适配自己的模型，针对性优化。
  • 其实搞优化大部分时间就是提高缓存命中率，高效利用neon寄存器。
JNingWei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NCNN中的模型量化解决方案：源码阅读和原理解析
沉迷单车的追风少年
05-29 456
去年NCNN发布了模型量化的解决方案，作为目前中国大陆被使用最多的端侧模型推理解决方案，NCNN开源的代码值得认真阅读和研究。这篇博客笔者和大家一起探索NCNN的模型量化部分，希望大家在NCNN的世界里玩得开心。
MNN推理引擎最新实测，CPU、GPU性能全面领先！
淘系技术
07-08 1861
每当有深度学习框架开源时，我们也和广大的吃瓜群众一样，期冀着是不是能有一波新的浪潮，把端侧AI托上一个新的高度。但同时，出于同行们对MNN的认可，我们几乎每一次都会在对比的榜单上出镜，有...
YOLO5Face 2021 与 MNN/NCNN/TNN/ONNXRuntime_C++_代码_下载
07-03
使用 Lite.AI.ToolKit C++工具箱来跑YOLO5Face人脸检测(带关键点)的一些案例 https://github.com/DefTruth/YOLO5Face.lite.ai.toolkit/blob/main/resources/YOLO5Face.png 更多详情、使用方法，请下载后阅读README.md文件
重构ncnn，腾讯优图开源新一代移动端推理框架TNN
AI科技大本营
06-10 2590
来源 | 腾讯优图从学界到工业界，“开源”已经成为AI领域的一个关键词。一方面，它以“授人以渔”的方式为AI构建了一个开放共进的生态环境，帮助行业加速AI应用落地；另一方面，在解决行业实...
深度学习框架大PK：TNN决战MNN，ncnn依旧经典
喜欢打酱油的老鸟
07-05 8356
近年来，开发者社区中，「开源」成了新流行趋势。 尤其是深度学习框架，自腾讯2017年将ncnn开源之后，各大AI实验室都「慷慨」的将自己的框架开源，以实现较为快速的创新。 今年6月10日，腾讯又宣布基于ncnn设计的深度学习推理框架TNN也将开源。TNN开源后，许多开发者都将其与ncnn，MNN等开源框架作比较。 TNN性能略胜一筹，「剑指」移动端；MNN通用性表现更佳 TNN设计之初一方面是为了提高算力，另一方面强调了对移动设备的支持。不然用户就没必要放弃生态很好的MNN和大家都熟悉的ncnn
开源项目介绍 ｜TNN-跨平台AI推理框架
腾讯开源
06-20 1389
2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalTNN项目介绍 标签：人工智能 技术栈：C++，Pytho...
腾讯TNN神经网络推理框架手动实现多设备单算子卷积推理
夏小悠的博客
04-11 1203
近期调研了一下腾讯的`TNN`神经网络推理框架，因此这篇博客主要介绍一下`TNN`的基本架构、模型量化以及手动实现`x86`和`arm`设备上单算子卷积推理。
embedded-ai.bench:嵌入式AI深度学习推理引擎的基准，例如NCNN TNN MNN TensorFlow Lite等
04-06
跑起来# tnncd ./tnn./build_tnn_android.sh # follow & read `./tnn/build_tnn_android.sh` if build failedcd -# mnncd ./mnn./build_mnn_android.sh # follow & read `./mnn/build_mnn_android.sh` if build ...
chineseocr_lite:超轻量级中文ocr，支持竖排文字识别, 支持ncnn、mnn、tnn推理 ( dbnet(1.8M) + crnn(2.5M) + anglenet(378KB)) 总模型仅4.7M
05-11
原始项目分支（torch推理，ncnn推理等）： 环境 python3.6 linux/macos/windows web服务启动 cd chineseocr_lite## 进入chineseocr目录 python backend/main.py 识别结果展示 参考 TrWebOCR QQ群 994929053 以下范例...
算法部署-使用NCNN+MNN+TNN部署超轻量级中文OCR算法-支持竖排文字识别+模型仅4M-优质算法部署项目实战.zip
03-07
算法部署_使用NCNN+MNN+TNN部署超轻量级中文OCR算法_支持竖排文字识别+模型仅4M_优质算法部署项目实战
TNN:人工神经网络
03-15
它还结合了来自各个部门（PCG，TEG，IEG）的深度学习框架Oteam的工作，以创建企业级移动推理引擎。 目前，已经启动了TNN，以支持Youtu Lab和Guangying Studio中的各种产品。 效果示例 人脸检测（blazeface） 目标...
腾讯TNN示例里的model文件
03-23
总之，腾讯TNN提供的模型文件是实现AI功能的关键组成部分，尤其在移动和嵌入式领域，它提供了便捷的方式在低功耗设备上实现高效的深度学习推理。理解如何处理和使用这些模型文件对于开发高效、可靠的AI应用至关重要...
TVM、Openvino、TNN、NCNN前向推理框架使用心得
damon93的博客
05-06 9911
TVM、Openvino、TNN、NCNN前向推理框架使用心得 仅是个人开发过程中的一些心得, 不同的开发者应该有不同意见,当然我可能会有一些理解程度不够深入的地方,希望各位指正批评. 一共五分,★★★☆☆表示得三分,其中"-"表示接触的不多,无法提供相关的使用心得 TVM OpenVino TNN NCNN API友好 ★★☆☆☆ ★★★★★ ★★★★☆ ★★★★☆ 社区 ★★★☆☆ ★★★★★ ★★★☆☆ - 开发难度 ★★★★★ ★★★☆☆ ★★★☆☆ ★★★☆☆ 速
YOLOv6 ORT/MNN/TNN/NCNN C++推理部署
weixin_41838259的博客
06-27 1918
YOLOv6 ORT/MNN/TNN/NCNN C++推理部署
移动端深度学习开源框架调研
最新发布
yabin的专栏
04-06 1225
支持卷积神经网络，支持多输入和多分支结构，可计算部分分支无任何第三方库依赖，不依赖 BLAS/NNPACK 等计算框架纯C++实现，跨平台，支持 android ios 等ARM NEON 汇编级良心优化，计算速度极快精细的内存管理和数据结构设计，内存占用极低支持多核并行计算加速，ARM big.LITTLE cpu 调度优化支持基于全新低消耗的 vulkan api GPU 加速整体库体积小于 700K，并可轻松精简到小于 300K可扩展的模型设计，支持8bit 量化。
37、记录使用 Swin Transformer主干网络去实现分类，并转化NCNN、TNN、MNN模型以及部署
sxj731533730
01-20 8555
基本思想:最近手中有个swim transformer模型，想移植手机端进行推理一下，随手记录一下遇到的问题 一、首先我fork了大佬的代码，查阅主代码结构是华为分类垃圾的源码,然后作者参考了swin_transformer的架构做了修改，修改参考来自Swin-Transformer/swin_transformer.py at 5d2aede42b4b12cb0e7a2448b58820aeda604426 · microsoft/Swin-Transformer · GitHub （1）首先将模..
腾讯开源推理框架TNN学习笔记（进行中）
计算机视觉算法、工程、产品
06-10 4313
6月10日之前期待 1、推理框架TNN 2、腾讯开源新一代 3、和NCNN有什么不同 6月10日
c++调tnn的代码
05-30
以下是使用C++调用TNN进行模型推理的代码示例： ```c++ #include <iostream> #include "tnn/core/tnn.h" #include "tnn/utils/blob_converter.h" int main(int argc, char* argv[]) { // 加载模型 std::string proto_content; std::ifstream proto_stream("model.tnnproto", std::ios::binary); proto_content.assign(std::istreambuf_iterator<char>(proto_stream), std::istreambuf_iterator<char>()); std::string model_content; std::ifstream model_stream("model.tnnmodel", std::ios::binary); model_content.assign(std::istreambuf_iterator<char>(model_stream), std::istreambuf_iterator<char>()); TNN_NS::ModelConfig config; config.params.push_back(proto_content); config.params.push_back(model_content); auto predictor = std::make_shared<TNN_NS::TNNSDKSample>(); auto status = predictor->Init(config); if (status != TNN_NS::TNN_OK) { std::cerr << "Predictor init failed: " << TNN_NS::StatusDescription(status) << std::endl; return -1; } // 准备输入数据 TNN_NS::DimsVector input_dims = {1, 3, 224, 224}; TNN_NS::Mat input_mat(TNN_NS::DEVICE_ARM, TNN_NS::N8UC3, input_dims); auto input_data = input_mat.GetData(); for (int i = 0; i < input_mat.GetDataCount(); i++) { input_data[i] = 1.0f; } // 执行推理 std::vector<TNN_NS::Mat> inputs = {input_mat}; auto output_blob = predictor->GetOutput("output"); std::vector<TNN_NS::Mat> outputs = {TNN_NS::Mat(output_blob->GetBlobDesc(), output_blob->GetHandle())}; status = predictor->Predict(inputs, outputs); if (status != TNN_NS::TNN_OK) { std::cerr << "Predictor predict failed: " << TNN_NS::StatusDescription(status) << std::endl; return -1; } // 处理输出数据 auto output_data = outputs[0].GetData(); for (int i = 0; i < outputs[0].GetDataCount(); i++) { std::cout << output_data[i] << " "; } std::cout << std::endl; return 0; } ``` 这段代码中，我们首先使用`TNNSDKSample`类加载了一个模型，然后准备输入数据并通过`predictor->Predict()`执行推理，最后得到输出结果`output_data`。你需要将`model.tnnproto`和`model.tnnmodel`替换为你的TNN模型文件名，并且根据你的模型输入和输出维度修改输入数据`input_data`和输出数据的处理方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值