在opencv sdk目录中包含 java以及native
类型 作用
java opencv java类,接口
native C++ 链接库
opencv中包含诸多编译好的链接库:
类型 描述
arm64-v8a ARM 64bit
armeabi ARM 早期的二进制接口ABI
armeabi-v7a ARM 32bit
mips others
x86 Intel x86 cpu架构
x86_x64 Intel x86 64bit CPU
一般的Android手机,大多数使用这两足以:
armeabi-v7a
arm64-v8a
绪论
本文基于使用MobileNet-SSD v2迁移学习实现在Android端的实时视频目标检测。一开始有考虑直接调用tensorlfow for Android 的接口来加载模型,但是这样在安卓端的图片预处理就会很麻烦(好吧,其实是我看不懂官方代码,哈哈哈。。。)。所以最后选择使用OpenCV for Android 的DNN模块加载模型,实时预测。
环境配置
- Android studio 3.0开发环境搭建:https://blog.csdn.net/Jarvis_lele/article/details/103637156
- OpenCV 3.3.0+(win版 与 Android版)
由于直接官网和GitHub上下载贼慢,所以这里给出了C站某大神整理的百度云盘链接,如果过期了,可以进行找其他大神。 - MobileNet object detection model
可从Tensorflow detection model zoo中下载
1、OpenCV DNN模块
Deep Neural Network - DNN 是OpenCV中的深度神经网络模块,支持基于深度学习模块前馈网络运行、实现图像与视频场景中的
- 图像分类
- 对象检测
- 图像分割
OpenCV3.4.1以上版本支持tensorflow1.11版本以上的对象检测框架(object detetion)模型导出使用。其模型导入与加载的相关API支持以下深度学习框架:
- tensorflow - readNetFromTensorflow
- caffe - readNetFromCaffe
- pytorch - readNetFromTorch
- darknet - readNetFromDarknet
OpenCV3.4.1以上版本支持tensorflow1.11版本以上的对象检测框架(object detetion)模型导出使用,当前支持的模型包括以下:
也就是说通过tensorflow object detection API框架进行迁移学习训练模型,导出预测图之后,可以通过OpenCV3.4.1以上版本提供几个python脚本导出graph配置文件,然后就可以在OpenCV DNN模块中使用tensorflow相关的模型了。
2、加载迁移模型
使用OpenCV DNN模块加载tensorflow模型需要frozen_inference_graph.pb与graph.pbtxt文件。这是因为,OpenCV DNN需要根据text版本的模型描述文件来解析tensorflow的pb文件,实现网络模型加载。
一般graph.pbtxt文件需要使用OpenCV DNN模块的python脚本生成对象的图配置文件graph.pbtxt。根据tensorflow中迁移学习或者下载预训练模型不同,OpenCV DNN 模块提供如下可以使用脚本生成对应的模型配置文件
- tf_text_graph_ssd.py
- tf_text_graph_faster_rcnn.py
- tf_text_graph_mask_rcnn.py
对SSD对象检测模型,生成模型描述文件运行以下命令行即可(在一行执行):
python tf_text_graph_ssd.py
--input /path/to/model