android opencv demo,Android Tensorflow+OpenCV实时分析Demo

1.引入OpenCV

https://opencv.org/releases.html 选择android版本下载

在Android Studio 选择File->Import Module，找到OpenCV解压的路径，选择sdk/java文件夹。

修改build.gradle文件，让各版本号与主module的版本号保持一致。

添加依赖(右键宿主module，选择Open Module Settings):

image.png

2.引入Tensorflow

api 'org.tensorflow:tensorflow-android:1.12.0'

3.显示摄像头预览画面

android:id="@+id/cameraView"

android:layout_width="match_parent"

android:layout_height="match_parent" />

class CameraActivity : AppCompatActivity(), CameraBridgeViewBase.CvCameraViewListener {

private var grayscaleImage: Mat? = null

private var absoluteFaceSize: Int = 0

override fun onCreate(savedInstanceState: Bundle?) {

super.onCreate(savedInstanceState)

setContentView(R.layout.activity_camera)

cameraView.setCameraIndex(0) // 0:后置 1:前置

cameraView.enableFpsMeter() //显示FPS

cameraView.setCvCameraViewListener(this)

cameraView.enableView()

}

override fun onCameraViewStarted(width: Int, height: Int) {

grayscaleImage = Mat(height, width, CvType.CV_8UC4)

absoluteFaceSize = (height * 0.2).toInt()

}

override fun onCameraViewStopped() {

grayscaleImage?.release()

}

override fun onCameraFrame(inputFrame: Mat): Mat {

Imgproc.cvtColor(inputFrame, grayscaleImage, Imgproc.COLOR_RGBA2RGB)

/*val random = Math.random() * 100 + 1

Imgproc.rectangle(inputFrame, Point(random, random), Point(random + 30, random + 30), Scalar(0.0, 255.0, 0.0, 255.0))*/

return inputFrame

}

}

看到画面的时候不要惊讶，它就是左旋转了90度的，把当前activity设置成横屏就ok了。

还有网上的其他方法是修改opencv库的CameraBridgeViewBase，让画面旋转90度恢复正常，但是尝试后发现画面会被放大且有卡顿，然后我还是选择了设置横屏。

4.添加模型

下载tensorflow的识别模型，解压添加到main/assets/model文件夹中，如下图所示。

image.png

5.运行算法

private val INPUT_SIZE = 224

private val IMAGE_MEAN = 117

private val IMAGE_STD = 1f

private val INPUT_NAME = "input"

private val OUTPUT_NAME = "output"

private val MODEL_FILE = "file:///android_asset/model/tensorflow_inception_graph.pb"

private val LABEL_FILE = "file:///android_asset/model/imagenet_comp_graph_label_strings.txt"

// 创建 Classifier------------------------------------------------------------------------------------------------------------

classifier = TensorFlowImageClassifier.create(this@CameraActivity.assets,

MODEL_FILE, LABEL_FILE, INPUT_SIZE, IMAGE_MEAN, IMAGE_STD, INPUT_NAME, OUTPUT_NAME)

在上面显示画面的onCameraFrame()方法中，把opencv提供的mat对象转换成bitmap图像，交给tensorflow分析。

val bmpCanny = Bitmap.createBitmap(inputFrame.cols(), inputFrame.rows(), Bitmap.Config.ARGB_8888)

Utils.matToBitmap(inputFrame, bmpCanny)

val croppedBitmap = getScaleBitmap(bmpCanny, INPUT_SIZE)

val results = classifier?.recognizeImage(croppedBitmap)

tensorflow模型分析结果就在results数组中，可以直接toString()显示。

分析的结果也可以直接在预览画面中显示，使用opencv提供的方式可以实现，只是这样画面会有卡顿。而我选择在JavaCameraView上多写一个TextView显示分析结果。

Imgproc.putText(inputFrame, results.toString(), Point(0.0, 30.0), Core.FONT_HERSHEY_COMPLEX, 1.0, Scalar(255.0))

最后的效果图如下，虽然识别结果不咋滴~

image.png