基于NCNN将YOLOX部署到Android

已于 2023-11-08 10:04:54 修改
阅读量1.5k 收藏 21
点赞数 2
分类专栏： 模型落地 目标检测 文章标签： android android studio opencv
于 2023-03-16 09:47:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45977690/article/details/129579298
版权

目录

1 利用已有的yolox_nano和yolox_tiny模型进行部署

1.1 准备Android项目文件

本机为win系统，所以我直接下载压缩文件ncnn-android-yolox.zip，解压后我存放于D:\AndroidStudioProjects\ncnn-android-yolox。
在这里插入图片描述

我下载的最新版本，解压后放置在D:\AndroidStudioProjects\ncnn-android-yolox\app\src\main\jni下。
在这里插入图片描述

我随意下了个版本，解压后也放置在D:\AndroidStudioProjects\ncnn-android-yolox\app\src\main\jni下。
在这里插入图片描述

D:\AndroidStudioProjects\ncnn-android-yolox\app\src\main\jni路径下的文件展示如下：
在这里插入图片描述

1.2 安装和使用Android Studio

需要提前安装JDK和Android SDK

JDK的安装参考：JDK 安装与环境变量配置(Win10详细版)

Android SDK的安装参考：【Windows系统】Android Studio安装过程遇到SDK tools directory is missing问题

Android Studio下载地址：https://developer.android.google.cn/studio/，安装可参考：如何安装Android Studio

Android Studio安装完毕后打开项目文件D:\AndroidStudioProjects\ncnn-android-yolox

  • 设置配置：

File->Settings->Appearance & Behavior ->System Settings->Android SDK

SDK Platform选择你的安卓手机的版本

SDK Tools选中DNK，CMake

注意：DNK版本别选太高，否则可能出现No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi问题，我最后选用的是21.3的版本；CMake选用3.10.2版本，否则会出现诸如- CMake '3.22.1' found in SDK did not match requested version '3.10.2'.的问题。
在这里插入图片描述

  • 修改CMakeLists.txt文件，Opencv和NCNN的路径改为你自己的
    在这里插入图片描述

1.3 apk部署到手机

手机打开开发者模式，并且开启USB调试和USB安装选项（可自行百度自己手机型号怎么开启）。使用USB连接手机选择传输文件（不要选仅充电），在Android Studio依次进行build和run（看下图），这时手机会弹出窗口提示是否允许安装apk，选择允许，这样就将apk部署到手机上了。
在这里插入图片描述

2 使用自己训练好的模型进行部署

在打通了链路后，就可以尝试使用自己的模型进行部署了。

2.1 训练得到pth文件

YOLOX训练自己的数据可去网上进行检索，有很多教程。我自己训练了yolox_nano.pth，其中训练的过程中我有遇到一些奇怪的问题，记录如下，yolox_voc_nano.py的代码中：

class Exp(MyExp):
    def __init__(self):
        super(Exp, self).__init__()
        self.num_classes = 4 # 自己数据集的类别数量

        self.data_num_workers = 0 # 不然会报错OSError: [WinError 1455] 页面文件太小,无法完成操作

        self.depth = 0.33
        self.width = 0.25
        self.input_size = (416, 416)
        self.random_size = (10, 20)
        self.mosaic_scale = (0.5, 1.5)
        self.test_size = (416, 416)
        self.max_epoch = 100
        # self.mosaic_prob = 0.5 // 这个不注释后就会出现AttributeError: 'int' object has no attribute 'numel'
        self.enable_mixup = False
        self.exp_name = os.path.split(os.path.realpath(__file__))[1].split(".")[0]
        """
        ......
        """

2.2 pth转onnx

使用官方提供的export_onnx.py进行转换

在这里插入图片描述

2.3 onnx转换为NCNN框架的数据

2.3.1 配置ncnn

ncnn的配置网上有很多都是从头开始构建编译，其实官方有编译好一些版本的ncnn，直接下载下来就行。官方链接：https://github.com/Tencent/ncnn

点击releases，我用的vs2019，shared是动态链接版本，我下载了shared版本的。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

解压后随便存放在哪个盘都行，记得在环境变量的path中把bin路径添加进去，并且由于我opencv版本使用的x64的关系，所以我添加的路径为：D:\ncnn-20221128-windows-vs2019-shared\x64\bin。

2.3.2 onnx转换为.bin和.param文件

先把上面得到的yolox_nano.onnx复制到ncnn目录（D:\ncnn-20221128-windows-vs2019-shared\x64\bin）下，现在需要将onnx格式的模型转成ncnn能够加载的.bin和.param：
【这里注意转换得到的名字yolox-nano.param和yolox-nano.bin，不要写成yolox_nano.param和yolox_nano.bin不然后面会出现软件闪退】

cd D:\ncnn-20221128-windows-vs2019-shared\x64\bin
onnx2ncnn.exe yolox_nano.onnx yolox-nano.param yolox-nano.bin

会出现下面的警告，这是因为ncnn不支持Focus模块，但没关系

Unsupported slice step !
Unsupported slice step !
Unsupported slice step !
Unsupported slice step !
Unsupported slice step !
Unsupported slice step !
Unsupported slice step !
Unsupported slice step !

2.3.3 调整.param文件

因为ncnn不支持Focus模块，所以需要对yolox-nano.param进行调整，具体操作为：将.param中Input后到第一层Convolution的Split层、Crop层和Concat层总共10层替换为1层YoloV5Focus

7767517
295 328
Input            images                   0 1 images
Split            splitncnn_input0         1 4 images images_splitncnn_0 images_splitncnn_1 images_splitncnn_2 images_splitncnn_3
Crop             Slice_4                  1 1 images_splitncnn_3 647 -23309=1,0 -23310=1,2147483647 -23311=1,1
Crop             Slice_9                  1 1 647 652 -23309=1,0 -23310=1,2147483647 -23311=1,2
Crop             Slice_14                 1 1 images_splitncnn_2 657 -23309=1,0 -23310=1,2147483647 -23311=1,1
Crop             Slice_19                 1 1 657 662 -23309=1,1 -23310=1,2147483647 -23311=1,2
Crop             Slice_24                 1 1 images_splitncnn_1 667 -23309=1,1 -23310=1,2147483647 -23311=1,1
Crop             Slice_29                 1 1 667 672 -23309=1,0 -23310=1,2147483647 -23311=1,2
Crop             Slice_34                 1 1 images_splitncnn_0 677 -23309=1,1 -23310=1,2147483647 -23311=1,1
Crop             Slice_39                 1 1 677 682 -23309=1,1 -23310=1,2147483647 -23311=1,2
Concat           Concat_40                4 1 652 672 662 682 683 0=0
Convolution      Conv_41                  1 1 683 1177 0=16 1=3 11=3 2=1 12=1 3=1 13=1 4=1 14=1 15=1 16=1 5=1 6=1728
Swish            Mul_43                   1 1 1177 687
ConvolutionDepthWise Conv_44                  1 1 687 1180 0=16 1=3 11=3 2=1 12=1 3=2 13=2 4=1 14=1 15=1 16=1 5=1 6=144 7=16
Swish            Mul_46                   1 1 1180 691
Convolution      Conv_47                  1 1 691 1183 0=32 1=1 11=1 2=1 12=1 3=1 13=1 4=0 14=0 15=0 16=0 5=1 6=512
......

在这里插入图片描述

  • 修改后的.param
7767517
286 328
Input                    images                   0 1 images
YoloV5Focus              focus                    1 1 images 683
Convolution              Conv_41                  1 1 683 1177 0=16 1=3 4=1 5=1 6=1728
Swish                    Mul_43                   1 1 1177 687
ConvolutionDepthWise     Conv_44                  1 1 687 1180 0=16 1=3 3=2 4=1 5=1 6=144 7=16
Swish                    Mul_46                   1 1 1180 691
Convolution              Conv_47                  1 1 691 1183 0=32 1=1 5=1 6=512
......

在这里插入图片描述
使用netron查看结构图：
在这里插入图片描述

2.3.4 对算子量化

使用ncnnoptimize.exe进行模型的量化。基于修改后的.param和.bin文件，在终端输入：

ncnnoptimize.exe yolox-nano.param yolox-nano.bin yolox-nano.param yolox-nano.bin 65536

量化后的.param文件第2行的数字会自动调整为：
在这里插入图片描述

2.4 使用自己的模型数据进行部署

  • 将量化后得到的.param和.bin文件复制到D:\AndroidStudioProjects\ncnn-android-yolox\app\src\main\assets路径下，替代掉原有的文件
  • 修改yolox.cpp中的class_names为自己的类别名
  • 然后再进行上方的1.3步骤（apk部署到手机）就可将自己的模型部署到手机上了

😱如果出现手机有图像但是并没有检测框的情况，请进行下面操作再重新进行1.3步骤

// yolox.cpp
	// so for 0-255 input image, rgb_mean should multiply 255 and norm should div by std.
    // new release of yolox has deleted this preprocess,if you are using new release please don't use this preprocess.
    //in_pad.substract_mean_normalize(mean_vals, norm_vals); // 将这句话注释掉

3 参考

YOLOX模型部署Android端-NCNN方法

咚咚锵咚咚锵
关注
  • 2
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
腾讯开源ncnn:示例程序运行
VivienFu的专栏
07-26 3万+
本博记录为卤煮使用时的记录，属于事后回忆记录，如有疏漏，请指正。 卤煮：非文艺小燕儿 本博地址：ncnn:示例程序运行 感谢开源共享的各位大牛们，让我们能够站在巨人的肩膀上前行。 ncnn git：https://github.com/Tencent/ncnn ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无
腾讯神经网络推理框架NCNN试玩儿
tugouxp的专栏
07-05 2783
ncnn 是腾讯开源的神经网络推理框架，官方仓库有详细介绍： https://github.com/Tencent/ncnn.git 下面在普通PC的ubuntu18.04环境上搭建环境，运行一把。 1.下载代码： git clone https://github.com/Tencent/ncnn.git 2.配置环境： cd ncnn mkdir build cd build cmake -DCMAKE_BUILD_TYPE=relwithdebinfo -DNCNN_OPENMP=
开源项目介绍｜ncnn-神经网络推理框架
腾讯开源
07-11 1523
2023腾讯犀牛鸟开源人才培养计划开源项目介绍扫码填写问卷报名，提交ncnn项目申请书加入开发实践与导师一起成长这一夏ncnn 项目介绍ncnn是一个为手机端极致优化的高性能神经网络前向计算框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。ncnn 项目导师寄语倪辉，ncnn作者ncnn是业界知名的AI推理框架，社区支持很好，参...
移动端机器学习框架ncnn简介与实践
hansun008的博客
12-04 3035
腾讯优图ncnn提供的资料显示：对比目前已知的同类框架，ncnn是 CPU 框架中最快的，安装包体积最小，跨平台兼容性中也是最好的。以苹果主推的 CoreML 为例，CoreML 是苹果主推的 iOS GPU 计算框架，速度非常快，但仅支持 iOS 11 以上的 iPhone 手机，落地受众太狭窄，非开源导致开发者无法自主扩展功能，对开源社区不友好。ncnn 提供了注册自定义层实现的扩展方式，可以将自己实现的特殊层内嵌到 ncnn 的前向计算过程中，组合出更自由的网络结构和更强大的特性。
Android端集成NCNN+Yolov8+OpenCV
最新发布
DoraemonCat520的博客
06-05 912
腾讯高性能神经网络前向计算框架——ncnn联合yolov8模型、OpenCV框架交叉编译移植到Android平台。
通过Android Studio 将yolov5部署到手机端(2023新手最新适用版)
qq_60943902的博客
08-23 7111
继续修改文件，打开ncnn-android-yolov5-master\gradle\wrapper,将红色方框处更换为7.4 ，(也可以用android studio打开该文件)继续修改文件，打开ncnn-android-yolov5-master/build.gradle,将红色方框处更换为7.3.0 (也可以用android studio打开该文件)将电脑连接数据线并插入手机，手机打开开发者模式（不同的手机位置可能不一样），打开usb调试，usb安装。这个是我安装后的路径，将这个路径复制。
ncnn的完整编译过程
phmatthaus的专栏
06-14 5505
1. 下载工程源码： 登录到https://github.com/Tencent/ncnn网址，登录后页面如下图所示： 2. 选择git clone或zip download方式下载源码。 3. 进入到ncnn源码根目录： $ cd <ncnn-root-dir> 4. 创建build文件夹： $ mkdir build 5. 进入到build...
基于ncnn-android部署yolov5完整源码+数据（课程设计）.zip
10-18
基于ncnn-android部署yolov5完整源码+数据（课程设计）.zip 已获导师指导并通过的97分的高分课程设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于ncnn-android部署yolov5完整...
yolox部署-使用ncnn在android上部署yolox能够达到实时检测-项目实战-附完整流程教程.zip
01-20
在本项目实战中，我们将探讨如何在Android平台上部署Yolox模型，利用ncnn库实现目标检测的实时应用。Yolox（You Only Look Once, eXtreme）是YOLO系列目标检测算法的最新版，它在速度与精度之间取得了良好的平衡。而...
基于ncnn-android部署YOLOv5（源码+说明文档）.rar
04-15
1、资源内容：基于ncnn-android部署yolov5（完整源码+说明文档+数据）.rar 2、代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程...
ncnn部署-使用ncnn在ios+android上部署yolov5-项目实战-附完整流程教程.zip
01-19
在本项目实战中，我们将探讨如何使用ncnn框架在iOS和Android平台上部署Yolov5模型，这是一个深度学习目标检测模型。ncnn是腾讯开源的一个高性能、轻量级的神经网络推理库，特别适合移动设备上的实时计算。下面将详细...
YOLOV3-on-Android:构建一个可直接在手机上部署YOLO V3源代码的Android应用-Android app source code
03-24
一。介绍 本项目将Yolo-v3的源代码在Android Studio进行开发编译和部署到Android手机上，实现利用手机硬件平台完成对Yolo-v3网络的调用。项目以Yolo-v3-tiny为示例进行开发，其他相关网络可以通过Darknet网站下载权重文件进行复现。 二。开发环境 操作系统：Ubuntu 16.04 Android Studio：3.1.3 手机：小米MI 8 相关教程： 请自行查阅指南完成Android Studio安装以及NDK，SDK等相关开发环境的配置。 三，项目建成 3.1原始代码导入 在Andorid Studio构建一个支持C语言的项目，然后从下载源代码。 在项目工程的cpp文件夹下新建的深色网络文件夹，将下载的源码中的示例，包括src三个文件夹复制到Android工程中。 3.2原始修改 3.2.1包括文件夹 包括文件夹下放置的是darknet的头
YOLOv5_NCNN:NC在手机上部署NCNN。支持Android和iOS。移动端NCNN部署，支持Android与iOS
03-18
:rocket:如果有帮助，请单击星号！ :star: Ncnn在移动设备上的部署，支持：相机上的YOLOv5s，YOLOv4-tiny，MobileNetV2-YOLOv3-nano，简单姿势，Yolact，ChineseOCR-lite，ENet，Landmark106，DBFace，MBNv2-FCN和MBNv3-Seg-small。 iOS： Xcode 11.5 macOS 10.15.4 iPhone 6sp 13.5.1 安卓： Android Studio 4.0 Win10 1909年 魅族16x 8.1.0（CPU：高通710 GPU：Adreno 616） Android已添加了权限请求，但如果仍然崩溃，请手动确认是否允许相关权限。 的iOS Select the model to be tested directly on the interface. 安卓 Selec
算法部署-使用NCNN在Android平台上部署YOLOX目标检测算法-优质算法部署项目实战.zip
03-08
在本项目实战中，我们将探讨如何在Android平台上部署YOLOX目标检测算法，利用NCNN这一高效的推理框架。YOLOX是一种基于YOLO系列的新型目标检测模型，它在速度和精度之间取得了良好的平衡，而NCNN是腾讯优图团队推出...
安卓端使用ncnn部署yolov5（v6.0）
女神sha手的博客
12-26 4664
ncnn是腾讯公司开源的一个专为手机端极致优化的高性能神经网络前向计算框架。ncnn从设计之初，就深刻考虑手机端的部署和使用，无需第三方依赖，跨平台，手机端cpu的速度快于目前所有已知的开源框架。基于ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能APP，将AI带到你的指尖。
[深度学习] ncnn安装和调用基础教程
热门推荐
You and Me
07-23 1万+
目录 1 介绍 2 Ubuntu 18下ncnn安装和使用 2.1 Ubuntu 18下ncnn编译安装 2.2 Ubuntu 18下ncnn使用 3 Windows 10下ncnn安装和使用 3.1 Windows 10下ncnn编译安装 3.2 Windows 10下ncnn使用 4 参考 1 介绍 ncnn是腾讯开发的一个为手机端极致优化的高性能神经网络前向计算框架，无第...
yolox模型安卓端部署转换
herogift的博客
04-03 155
主要负责的是yolox模型安卓端部署转换。
【学习笔记】部署yolov8到安卓手机
liujiahao123987的博客
02-04 1万+
把yolov8部署到安卓手机哟，用手机软件也能进行检测啦
YOLOv5s剪枝+量化+安卓部署学习记录───模型剪枝
zswzswzsw233的博客
06-09 2852
使用yolov5s体验一下模型剪枝、量化和安卓部署过程
mobileunet在ncnn端的部署
07-27
对于MobileUNet在NCNN端的部署，你可以按照以下步骤进行操作： 1. 首先，你需要获取MobileUNet的模型文件和权重参数。这些文件通常是在训练过程中生成的，你可以从相关资源库或者官方文档中获取。 2. 下载并配置NCNN库。NCNN是一个轻量级的神经网络计算库，适用于移动设备和嵌入式系统。你可以从NCNN的官方GitHub仓库下载源代码，并按照其文档进行配置和编译。 3. 在你的项目中使用NCNN库。将NCNN库导入到你的项目中，并确保你的项目能够正确地链接和使用NCNN库的功能。 4. 加载MobileUNet模型。使用NCNN提供的接口，你可以加载MobileUNet模型文件和权重参数。具体的加载代码可能会有所不同，具体取决于你选择的编程语言和平台。 5. 对输入图像进行预处理。在将图像输入到MobileUNet模型之前，你可能需要对图像进行一些预处理，例如调整大小、归一化或裁剪等操作。确保预处理过程与MobileUNet模型训练时使用的预处理过程一致。 6. 运行推理。使用NCNN提供的接口，将预处理后的图像输入MobileUNet模型，然后运行推理过程。推理过程将产生预测结果，即MobileUNet对输入图像的分割结果。 7. 后处理和可视化。根据你的需求，你可以对模型的输出进行后处理，例如阈值化、后处理滤波或对象边界框绘制等操作。最后，你可以将结果可视化或保存到文件中。 以上是MobileUNet在NCNN端的部署步骤的一个大致指导，具体细节可能因为你的应用场景和需求而有所不同。在实际操作中，你可能需要参考NCNN的文档和示例代码来更好地理解和应用该库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值