【OpenCV for Android】（六）基于MobileNet_SSD和OpenCV_Android的实时视频目标检测

在opencv sdk目录中包含 java以及native

类型 作用
java opencv java类，接口
native C++ 链接库

opencv中包含诸多编译好的链接库：

类型 描述
arm64-v8a ARM 64bit
armeabi ARM 早期的二进制接口ABI
armeabi-v7a ARM 32bit
mips others
x86 Intel x86 cpu架构
x86_x64 Intel x86 64bit CPU
一般的Android手机，大多数使用这两足以：

armeabi-v7a
arm64-v8a

绪论

本文基于使用MobileNet-SSD v2迁移学习实现在Android端的实时视频目标检测。一开始有考虑直接调用tensorlfow for Android 的接口来加载模型，但是这样在安卓端的图片预处理就会很麻烦（好吧，其实是我看不懂官方代码，哈哈哈。。。）。所以最后选择使用OpenCV for Android 的DNN模块加载模型，实时预测。

---

---

环境配置

• Android studio 3.0开发环境搭建：https://blog.csdn.net/Jarvis_lele/article/details/103637156
• OpenCV 3.3.0+（win版 与 Android版）
  由于直接官网和GitHub上下载贼慢，所以这里给出了C站某大神整理的百度云盘链接，如果过期了，可以进行找其他大神。
• MobileNet object detection model
  可从Tensorflow detection model zoo中下载

---

1、OpenCV DNN模块

Deep Neural Network - DNN 是OpenCV中的深度神经网络模块，支持基于深度学习模块前馈网络运行、实现图像与视频场景中的

• 图像分类
• 对象检测
• 图像分割

OpenCV3.4.1以上版本支持tensorflow1.11版本以上的对象检测框架(object detetion)模型导出使用。其模型导入与加载的相关API支持以下深度学习框架：

• tensorflow - readNetFromTensorflow
• caffe - readNetFromCaffe
• pytorch - readNetFromTorch
• darknet - readNetFromDarknet

OpenCV3.4.1以上版本支持tensorflow1.11版本以上的对象检测框架(object detetion)模型导出使用，当前支持的模型包括以下：
也就是说通过tensorflow object detection API框架进行迁移学习训练模型，导出预测图之后，可以通过OpenCV3.4.1以上版本提供几个python脚本导出graph配置文件，然后就可以在OpenCV DNN模块中使用tensorflow相关的模型了。

2、加载迁移模型

使用OpenCV DNN模块加载tensorflow模型需要frozen_inference_graph.pb与graph.pbtxt文件。这是因为，OpenCV DNN需要根据text版本的模型描述文件来解析tensorflow的pb文件，实现网络模型加载。
一般graph.pbtxt文件需要使用OpenCV DNN模块的python脚本生成对象的图配置文件graph.pbtxt。根据tensorflow中迁移学习或者下载预训练模型不同，OpenCV DNN 模块提供如下可以使用脚本生成对应的模型配置文件

• tf_text_graph_ssd.py
• tf_text_graph_faster_rcnn.py
• tf_text_graph_mask_rcnn.py