如何在Android设备上运行深度网络

已于 2024-01-25 21:03:12 修改
阅读量1k 收藏 24
点赞数 20
文章标签： android 网络 人工智能 opencv
于 2024-01-16 17:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/135594737
版权

介绍

在本教程中，您将了解如何使用 OpenCV 深度学习模块在 Android 设备上运行深度学习网络。教程是为 Android Studio 2022.2.1 编写的。

要求

创建一个空的 Android Studio 项目并添加 OpenCV 依赖项

使用 Android Development with OpenCV 教程初始化项目并添加 OpenCV。

制作应用

我们的示例将从相机中获取照片，将其转发到深度网络中，并接收 [0， 1] 范围内的一组矩形、类标识符和置信度值。

  • 首先，我们需要添加一个必要的小部件来显示处理后的帧。修改：app/src/main/res/layout/activity_main.xml
    <?xml version=“1.0” encoding=“utf-8”？>
    <FrameLayout xmlns：android=“http://schemas.android.com/apk/res/android”
    xmlns：app=“http://schemas.android.com/apk/res-auto”
    xmlns：tools=“http://schemas.android.com/tools”
    安卓：layout_width=“match_parent”
    安卓：layout_height=“match_parent”
    tools：context=“org.opencv.samples.opencv_mobilenet。主活动”>
    <org.opencv.android.JavaCameraView
    android：id=“@+id/CameraView”
    安卓：layout_width=“match_parent”
    安卓：layout_height=“match_parent”
    android：visibility=“可见” />
    </FrameLayout（框架布局）>
  • 修改以启用全屏模式，设置正确的屏幕方向并允许使用相机。/app/src/main/AndroidManifest.xml
    <?xml version=“1.0” encoding=“utf-8”？>
    <清单 xmlns：android=“http://schemas.android.com/apk/res/android”>
    <应用
    android：label=“@string/app_name”>
    <活动
    android：exported=“true”
    android：name=“。主活动”
    android：screenOrientation=“landscape”> <!--屏幕方向-->
    <意图过滤器>
    <操作 android：name=“android.intent.action.MAIN” />
    <类别 android：name=“android.intent.category.LAUNCHER” />
    </意图过滤器>
    </活动>
    </应用>
    <!--允许使用相机-->
    <使用权限 android：name=“android.permission.CAMERA”/>
    <使用功能 android：name=“android.hardware.camera” android：required=“false”/>
    <使用功能 android：name=“android.hardware.camera.autofocus” android：required=“false”/>
    <使用功能 android：name=“android.hardware.camera.front” android：required=“false”/>
    <使用功能 android：name=“android.hardware.camera.front.autofocus” android：required=“false”/>
    </清单>
  • 如有必要，替换以下内容并设置自定义包名称：app/src/main/java/com/example/myapplication/MainActivity.java
软件包 com.example.myapplication;
导入 android.content.Context;
导入 android.content.res.AssetManager;
导入 android.os.Bundle;
导入 android.util.Log;
导入 android.widget.Toast;
导入 org.opencv.android.CameraActivity;
导入 org.opencv.android.CameraBridgeViewBase;
导入 org.opencv.android.CameraBridgeViewBase.CvCameraViewFrame;
导入 org.opencv.android.CameraBridgeViewBase.CvCameraViewListener2;
导入 org.opencv.android.OpenCVLoader;
导入 org.opencv.core.Core;
导入 org.opencv.core.Mat;
导入 org.opencv.core.MatOfByte;
导入 org.opencv.core.Point;
导入 org.opencv.core.Scalar;
导入 org.opencv.core.Size;
进口 org.opencv.dnn.Net;
导入 org.opencv.dnn.Dnn;
导入 org.opencv.imgproc.Imgproc;
导入 java.io.InputStream;
导入 java.io.IOException;
导入 java.util.Collections;
导入 java.util.List;
公共类 MainActivity 扩展 CameraActivity 实现 CvCameraViewListener2 {
@Override
公共无效 onResume（） {
super.onResume（）;
if （mOpenCvCameraView ！= 空）
mOpenCvCameraView.enableView（）;
}
@Override
受保护的 void onCreate（Bundle savedInstanceState） {
super.onCreate（savedInstanceState）;
如果 （OpenCVLoader.initLocal（）） {
Log.i（TAG， “OpenCV 加载成功”);
} 还 {
Log.e（TAG， “OpenCV 初始化失败！”);
（Toast.makeText（this， “OpenCV 初始化失败！”， Toast.LENGTH_LONG））.show（）;
返回;
}
mModelBuffer = loadFileFromResource（R.raw.mobilenet_iter_73000）;
mConfigBuffer = loadFileFromResource（R.raw.deploy）;
if （mModelBuffer == null || mConfigBuffer == null） {
Log.e（TAG，“无法从资源加载模型”);
} 还
Log.i（TAG， “模型文件加载成功”);
net = Dnn.readNet（“caffe”， mModelBuffer， mConfigBuffer）;
Log.i（TAG， “网络加载成功”);
setContentView（R.layout.activity_main）;
设置摄像头侦听器。
mOpenCvCameraView = （CameraBridgeViewBase）findViewById（R.id.CameraView）;
mOpenCvCameraView.setVisibility（CameraBridgeViewBase.VISIBLE）;
mOpenCvCameraView.setCvCameraViewListener（这个);
}
@Override
public void onPause（）
{
super.onPause（）;
if （mOpenCvCameraView ！= 空）
mOpenCvCameraView.disableView（）;
}
@Override
保护列表<？扩展 CameraBridgeViewBase> getCameraViewList（） {
返回集合.singletonList（mOpenCvCameraView）;
}
公共无效 onDestroy（） {
super.onDestroy（）;
if （mOpenCvCameraView ！= 空）
mOpenCvCameraView.disableView（）;
mModelBuffer.release（）;
mConfigBuffer.release（）;
}
加载网络。
public void onCameraViewStarted（int width， int height） {
}
公共垫 onCameraFrame（CvCameraViewFrame inputFrame） {
最终 int IN_WIDTH = 300;
最终 int IN_HEIGHT = 300;
最终浮点WH_RATIO=（浮点）IN_WIDTH/IN_HEIGHT;
最终双IN_SCALE_FACTOR = 0.007843;
最终双MEAN_VAL = 127.5;
最终双精度阈值 = 0.2;
获取新框架
Log.d（TAG， “处理新帧！”);
垫子框架 = inputFrame.rgba（）;
Imgproc.cvtColor（帧，帧，Imgproc.COLOR_RGBA2RGB）;
通过网络转发图像。
Mat blob = Dnn.blobFromImage（frame， IN_SCALE_FACTOR，
new Size（IN_WIDTH， IN_HEIGHT），
new 标量（MEAN_VAL， MEAN_VAL， MEAN_VAL）， /*swapRB*/false， /*裁剪*/false);
net.setInput（blob）;
垫子检测 = net.forward（）;
int cols = frame.cols（）;
int rows = frame.rows（）;
检测 = detections.reshape（1， （int）detections.total（） / 7）;
for （int i = 0; i < detections.rows（）; ++i） {
双倍置信度 = detections.get（i， 2）[0];
if （置信度>阈值） {
int classId = （int）detections.get（i， 1）[0];
int left = （int）（detections.get（i， 3）[0] * cols）;
int top = （int）（detections.get（i， 4）[0] * 行）;
int right = （int）（detections.get（i， 5）[0] * cols）;
int bottom = （int）（detections.get（i， 6）[0] * 行）;
在检测到的物体周围绘制矩形。
Imgproc.rectangle（frame， new Point（left， top）， new Point（right， bottom），
新标量（0， 255， 0））;
字符串标签 = classNames[classId] + “： ” + 置信度;
int[] baseLine = 新 int[1];
大小 labelSize = Imgproc.getTextSize（label， Imgproc.FONT_HERSHEY_SIMPLEX， 0.5， 1， baseLine）;
为标签绘制背景。
Imgproc.rectangle（frame， new Point（left， top - labelSize.height），
new Point（left + labelSize.width， top + baseLine[0]），
新标量（255， 255， 255）， Imgproc.FILLED）;
写下类名和置信度。
Imgproc.putText（frame， label， new Point（left， top），
Imgproc.FONT_HERSHEY_SIMPLEX， 0.5， 新标量（0， 0， 0））;
}
}
返回帧;
}
public void onCameraViewStopped（） {}
私人MatOfByte loadFileFromResource（int id) {
byte[] 缓冲区;
尝试 {
从应用程序资源加载级联文件
InputStream 是 = getResources（）.openRawResource（id);
int 大小 = is.available（）;
缓冲区 = 新字节 [大小];
int bytesRead = is.read（缓冲区）;
is.close（）;
} catch （IOException e） {
e.printStackTrace（）;
Log.e（TAG，“无法从资源ONNX模型！抛出异常：“ + e）;
（Toast.makeText（this， “无法从资源ONNX模型！”， Toast.LENGTH_LONG））.show（）;
返回 null;
}
返回 new MatOfByte（buffer）;
}
private static final 字符串 TAG = “OpenCV-MobileNet”;
private static final String[] classNames = {“background”，
“飞机”， “自行车”， “鸟”， “船”，
“瓶子”， “公共汽车”， “汽车”， “猫”， “椅子”，
“牛”， “餐桌”， “狗”， “马”，
“摩托车”， “人”， “盆栽”，
“绵羊”， “沙发”， “火车”， “TVMONITOR”};
私人MatOfByte mConfigBuffer;
私人MatOfByte mModelBuffer;
私人净净值;
私人CameraBridgeViewBase mOpenCvCameraView;
}
  • 将下载并放入文件夹中。OpenCV DNN 模型主要用于从文件加载 ML 和 DNN 模型。现代 Android 不允许在没有额外权限的情况下使用它，但提供了 Java API 来从资源中加载字节。此示例使用替代 DNN API，该 API 从内存中缓冲区而不是文件初始化模型。以下函数从资源中读取模型文件，并将其转换为（在 C++ 世界中模拟）适合 OpenCV Java API 的对象：deploy.prototxtmobilenet_iter_73000.caffemodelapp/src/main/res/rawMatOfBytesstd::vector<char>
私人MatOfByte loadFileFromResource（int id) {
byte[] 缓冲区;
尝试 {
从应用程序资源加载级联文件
InputStream 是 = getResources（）.openRawResource（id);
int 大小 = is.available（）;
缓冲区 = 新字节 [大小];
int bytesRead = is.read（缓冲区）;
is.close（）;
} catch （IOException e） {
e.printStackTrace（）;
Log.e（TAG，“无法从资源ONNX模型！抛出异常：“ + e）;
（Toast.makeText（this， “无法从资源ONNX模型！”， Toast.LENGTH_LONG））.show（）;
返回 null;
}
返回 new MatOfByte（buffer）;
}

然后使用以下行完成网络初始化：

mModelBuffer = loadFileFromResource（R.raw.mobilenet_iter_73000）;
mConfigBuffer = loadFileFromResource（R.raw.deploy）;
if （mModelBuffer == null || mConfigBuffer == null） {
Log.e（TAG，“无法从资源加载模型”);
} 还
Log.i（TAG， “模型文件加载成功”);
net = Dnn.readNet（“caffe”， mModelBuffer， mConfigBuffer）;
Log.i（TAG， “网络加载成功”);

另请参阅有关资源的 Android 文档

  • 看看 DNN 模型输入是如何准备的，推理结果是如何解释的：
Mat blob = Dnn.blobFromImage（frame， IN_SCALE_FACTOR，
new Size（IN_WIDTH， IN_HEIGHT），
new 标量（MEAN_VAL， MEAN_VAL， MEAN_VAL）， /*swapRB*/false， /*裁剪*/false);
net.setInput（blob）;
垫子检测 = net.forward（）;
int cols = frame.cols（）;
int rows = frame.rows（）;
检测 = detections.reshape（1， （int）detections.total（） / 7）;
for （int i = 0; i < detections.rows（）; ++i） {
双倍置信度 = detections.get（i， 2）[0];
if （置信度>阈值） {
int classId = （int）detections.get（i， 1）[0];
int left = （int）（detections.get（i， 3）[0] * cols）;
int top = （int）（detections.get（i， 4）[0] * 行）;
int right = （int）（detections.get（i， 5）[0] * cols）;
int bottom = （int）（detections.get（i， 6）[0] * 行）;
在检测到的物体周围绘制矩形。
Imgproc.rectangle（frame， new Point（left， top）， new Point（right， bottom），
新标量（0， 255， 0））;
字符串标签 = classNames[classId] + “： ” + 置信度;
int[] baseLine = 新 int[1];
大小 labelSize = Imgproc.getTextSize（label， Imgproc.FONT_HERSHEY_SIMPLEX， 0.5， 1， baseLine）;
为标签绘制背景。
Imgproc.rectangle（frame， new Point（left， top - labelSize.height），
new Point（left + labelSize.width， top + baseLine[0]），
新标量（255， 255， 255）， Imgproc.FILLED）;
写下类名和置信度。
Imgproc.putText（frame， label， new Point（left， top），
Imgproc.FONT_HERSHEY_SIMPLEX， 0.5， 新标量（0， 0， 0））;
}
}

Dnn.blobFromImage将相机帧转换为神经网络输入张量。应用调整大小和统计归一化。网络输出张量的每一行都包含有关一个检测到对象的信息，顺序如下：范围 [0， 1] 的置信度、类 ID、左、上、右、下框坐标。所有坐标都在 [0， 1] 范围内，应在渲染前缩放到图像大小。

  • 启动应用程序并带来乐趣！

    11_demo.jpg

   在线教程

有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
​

请添加图片描述

人工智能书籍

第一阶段：零基础入门（3-6个月）

新手应首先通过少而精的学习，看到全景图，建立大局观。 通过完成小实验，建立信心，才能避免“从入门到放弃”的尴尬。因此，第一阶段只推荐4本最必要的书（而且这些书到了第二、三阶段也能继续用），入门以后，在后续学习中再“哪里不会补哪里”即可。

第二阶段：基础进阶（3-6个月）

熟读《机器学习算法的数学解析与Python实现》并动手实践后，你已经对机器学习有了基本的了解，不再是小白了。这时可以开始触类旁通，学习热门技术，加强实践水平。在深入学习的同时，也可以探索自己感兴趣的方向，为求职面试打好基础。

第三阶段：工作应用

这一阶段你已经不再需要引导，只需要一些推荐书目。如果你从入门时就确认了未来的工作方向，可以在第二阶段就提前阅读相关入门书籍（对应“商业落地五大方向”中的前两本），然后再“哪里不会补哪里”。

 有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
​

在这里插入图片描述

 

人工智能小豪
关注
  • 20
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
OpenCV在Android设备上运行深度网络
希望我的博客，能帮上你解决学习中工作中所遇到的问题
04-21 290
OpenCV在Android设备上运行深度网络在Android设备上运行深度网络介绍要求创建一个空的Android Studio项目添加OpenCV依赖项做一个样品 在Android设备上运行深度网络 介绍 在本教程中，您将了解如何使用OpenCV深度学习模块在Android设备上运行深度学习网络。 教程是为以下版本的相应软件编写的： Android Studio 2.3.3 OpenCV 3.3.0以上 要求 下载并安装Android Studio 。 Android版预构建OpenCV并将其解压缩（例如
豪猪：基于深度学习的设备上唤醒词检测
02-01
它是使用在实际环境中训练的深度神经网络。 紧凑且计算效率高。 它非常适合物联网。 跨平台。 支持Raspberry Pi，BeagleBone，Android，iOS，Linux（x86_64），macOS（x86_64），Windows（x86_64）和Web浏览器。 ...
OpenCV如何在Android设备上运行深度网络(22)
2301_78348935的博客
03-21 1352
OpenCV是一个开源的计算机视觉库，由英特尔公司开发并开源的一组跨平台的C++函数和少量的C函数组成，用于实时图像处理、计算机视觉和机器学习等应用领域。OpenCV可以在包括Windows、Linux、macOS等各种操作系统平台上使用，具有开放的编程接口，可用于各种应用开发。OpenCV的主要特点是易于使用，高效、学习资源和社区活跃。OpenCV可以计算相机标定、物体识别、动作跟踪、人脸识别、手写数字识别等任务，并可集成到摄像头、网络摄像头和机器人等系统中。
史上最全的Android面试题集锦
热门推荐
xiangzhihong8的专栏
07-17 11万+
Android基本知识点 1、常规知识点 1、 Android类加载器 在Android开发中，不管是插件化还是组件化，都是基于Android系统的类加载器ClassLoader来设计的。只不过Android平台上虚拟机运行的是Dex字节码，一种对class文件优化的产物，传统Class文件是一个Java源码文件会生成一个.class文件，而Android是把所有Class文件进行合并、优化，然后...
主流深度学习框架及神经网络模型汇总
ZJQ的博客
08-27 4179
用大白话说就是是一个中间件，比如你PyTorch的模型想转换别的，就得通过ONNX，现在有的框架可以直接转，但是在没有专门支持的时候，ONNX就非常重要了，万物先转ONNX，ONNX再转万物。NCNN的速度是超过TFLite的，但是有点麻烦的是之前得经常自己用C去复现一些算子(框架起步都这样)，现在因为使用的人数很多，因此算子很多。同样的设备，MNN的部署速度是非常快的，树莓派3B上cpu的加速是NCNN速度的3被以上，而且文档非常的全，代码整洁清晰，非常适合开发者使用。对下图左，标注为人，羊，狗，草地。
在Android设备部署PyTorch模型
紫芝的博客
07-15 1万+
Pytorch Mobile Android参考文献 现如今，在边缘设备上运行机器学习/深度学习变得越来越流行，它需要更低的时延。 而从Pytorch 1.3开始，我们就可以使用Pytorch将模型部署到Android或者ios设备中。 参考文献 https://blog.csdn.net/karry_zzj/article/details/102827337 ...
DetectX 深度学习模型Android部署 - NanoDetPlus + NCNN
riskychengallesgut的专栏
09-04 8635
使用NCNN将Nanodet-Plus_m416部署到android设备上，调用摄像头达到实时检测效果，并根据自身需求训练NanoDet-Plus模型并部署。
使用TensorFlow Lite在Android手机上实现图像分类
夜雨飘零
09-20 1万+
TensorFlow Lite是一款专门针对移动设备的深度学习框架，移动设备深度学习框架是部署在手机或者树莓派等小型移动设备上的深度学习框架，可以使用训练好的模型在手机等设备上完成推理任务。这一类框架的出现，可以使得一些推理的任务可以在本地执行，不需要再调用服务器的网络接口，大大减少了预测时间。在前几篇文章中已经介绍了百度的paddle-mobile，小米的mace，还有腾讯的ncnn。这在本章中我们将介绍谷歌的TensorFlow Lite。
深度学习模型DNN部署到安卓（移动）设备上——pytorch-＞onnx-＞ncnn-＞Android
xiaodidididi521的博客
03-14 1万+
最近，由于实验要求，我需要把在服务器上训练好的pytorch模型预训练.pth文件部署到安卓端测试推理时间，但是一直不知道应该怎么转变模型和部署，查了很多资料，遇到了很多问题，在同学的帮助下，尝试成功。 我简单记录一下整个部署流程，希望可以帮助想要尝试的同志们，同时，如果之后还需要部署相同项目的时候，我还可以参考这篇笔记。 一共有四个部分，pytorch->onnx->ncnn->Android 1.pytorch->onnx （1）安装onnx和onnxruntime onnx:
在Android手机上使用腾讯的ncnn实现图像分类
夜雨飘零
09-05 1万+
目录 目录 前言 使用Ubuntu编译NCNN库 转换预测模型 开发Android项目 参考资料 前言 使用Ubuntu编译NCNN库 1、首先要下载和解压NDK。 wget https://dl.google.com/android/repository/android-ndk-r17b-linux-x86_64.zip unzip android-ndk-r17b-l...
深度学习模型DNN部署到安卓设备上全流程示例——{pytorch-＞onnx＞ncnn-＞Android studio}
xiaodidididi521的博客
04-08 7382
深度学习模型DNN部署到安卓设备上全流程示例——{pytorch-＞onnx＞ncnn-＞Android studio}
AidLearning-FrameWork：:fire::fire:在Android上用于Linux-Python-AI代码开发的AidLearning。 AidLearning建立了一个Linux环境，在Android设备上支持GUI，深度学习和可视化编程。现在，Aid通过Python支持TensorflowLite GPUDelegate
02-04
在Android上运行Linux + AI + Python + GUI 4in1环境。 介绍是一个功能强大的移动AI开发平台，它支持用于深度学习神经网络开发的几乎所有框架和工具。 它已在Android上构建了一个完整Linux OS支持GUI桌面，并内置了...
计算机毕业设计 - AnderWeb-android-packages-apps-Launcher-4458ee4，保证可靠运行
03-19
同时，我们还对启动器的性能进行了优化，提高了应用的响应速度和稳定性，确保在各种设备和网络环境下都能够流畅运行。 此外，本项目还注重用户体验的提升。我们优化了应用的交互逻辑，使得用户可以更加方便地进行...
JejuNet：使用DeepLab V3 +，MobileNet V2在移动设备上进行实时视频分段。 在济州岛的项目中工作
02-06
在移动设备上实时运行视觉任务，例如对象检测，分段。 我们的目标是在Google Pixel 2上以至少24 fps的速度实时实现视频分割。我们使用专门针对移动/嵌入式设备的高效深度学习网络，并利用连续帧之间的数据冗余来减少...
《Google Android SDK开发范例大全(第3版)》.pdf
02-17
　《google android sdk开发范例大全(第3版)》在上一版的基础上，以android手机应用程序开发(采用android sdk 2.3.3)为主题，超过200多个范例全面且深度地整合了手机、网络及服务等多个开发领域，为读者提高程序设计...
厂家自定义 Android Ant编译流程源码分析
结合项目案例，记录点点滴滴，自己回顾，分享他人o__o
05-06 473
我的是：（E:\Tool\Windows\adt-bundle-windows-x86-20130729\sdk\tools\ant）上面主要是配置依赖工程，你可以手动改，当然默认的是用eclipse配置的工程的时候利用ADT插件自动生成的。其他的差异不用管，只管上面两行就可以了，每个ant版本的内容是不一样的，只要和自己的sdk对应就可以了。上述模块基本上把所有的情况都考虑到了，大家只要按照自己工程的实际需求改改就可以了，把没有用的删除。找到自己安装目录下的build.xml。解压ant的包到本地目录。
商米-android-使用NFC读IC卡，身份证云解和IC卡同时兼容
最新发布
walle167的博客
05-07 376
云解身份证
展开说说：Android Fragment完全解析-卷三
Hidanchaofan的博客
05-03 1002
本文章分析了Fragment的管理器FragmentManager、事务以及完整的声明周期和动态加载Fragment的原理解析。
安卓 app icon大小 安卓app界面尺寸大小
s_sos0的博客
05-04 1001
android app icon大小 android app界面尺寸大小
Android 平台 实现 卷积神经网络
07-28
此外，还有一些开源的库，如TensorFlow Lite和Caffe2，它们提供了在移动设备上运行深度学习模型的功能。这些库可以在Android平台上实现卷积神经网络，并且可以通过使用GPU加速来提高性能\[3\]。因此，开发者可以利用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值