android自带抓拍算法,Android | 超简单集成HMS ML Kit实现最大脸微笑抓拍

前言

如果大家对HMS ML Kit 人脸检测功能有所了解，相信已经动手调用我们提供的接口编写自己的APP啦。目前就有小伙伴在调用接口的过程中反馈，不太清楚HMS ML Kit 文档中的MLMaxSizeFaceTransactor这个接口的使用方法。为了让大家更加深刻的了解我们的接口，方便在场景中使用，在这篇文章中小编准备抛砖引玉，大家可以打开思路，多多尝试。如果有小伙伴想要深入的了解更加全面具体的功能，请大家移步https://developer.huawei.com/consumer/cn/hms/huawei-mlkit。

场景

相信大家都有在五一、十一出去游玩的经历，是不是都是这样的people mountain people sea.

1.png

好不容易找个人少的地方，结果拍出来的照片是这样的。

2.png

这样的

3.png

还有这样的

4.png

不看不知道，原来我的面部表情这么丰富。。是不是很心累？每次想要发个出去浪的朋友圈，都要在白天拍的成百上千张类似款的照片里，花上一小时才能找到一张能看的照片。。。

5.png

为了解决类似问题，HMS ML Kit 提供了追踪识别画面中最大脸的接口，能够识别图像中的最大脸，方便对跟踪图像中的”重点目标“做相关操作和处理。本文中就简单的调用MLMaxSizeFaceTransactor这个接口，实现最大脸微笑抓拍的功能。

开发前准备

android studio 安装

在项目级gradle里添加华为maven仓

打开AndroidStudio项目级build.gradle文件

7.png

增量添加如下maven地址：

buildscript {

{

maven {url 'http://developer.huawei.com/repo/'}

}

}

allprojects {

repositories {

maven { url 'http://developer.huawei.com/repo/'}

}

}

在应用级的build.gradle里面加上SDK依赖

8.png

在AndroidManifest.xml文件里面增量添加模型自动下载

要使应用程序能够在用户从华为应用市场安装您的应用程序后，自动将最新的机器学习模型更新到用户设备，请将以下语句添加到该应用程序的AndroidManifest.xml文件中：

...

android:name="com.huawei.hms.ml.DEPENDENCY"

android:value= " face"/>

...

在AndroidManifest.xml文件里面申请相机、访问网络和存储权限

代码开发关键步骤

动态权限申请

@Override

public void onCreate(Bundle savedInstanceState) {

……

if (!allPermissionsGranted()) {

getRuntimePermissions();

}

创建人脸识别检测器

可以通过人脸识别检测配置器“MLFaceAnalyzerSetting”创建人脸识别检测器。

MLFaceAnalyzerSetting setting =

new MLFaceAnalyzerSetting.Factory()

.setFeatureType(MLFaceAnalyzerSetting.TYPE_FEATURES)

.setKeyPointType(MLFaceAnalyzerSetting.TYPE_UNSUPPORT_KEYPOINTS)

.setMinFaceProportion(0.1f)

.setTracingAllowed(true)

.create();

通过MLMaxSizeFaceTransactor.Creator创建“MLMaxSizeFaceTransactor”对象用于处理检测到的最大脸，其中objectCreateCallback()方法是在检测到对象的时候调用的，objectUpdateCallback()方法是在对象更新了的时候调用的，在方法里通过Overlay在识别到的最大人脸上标记了一个方块，并通过检测结果获取MLFaceEmotion来识别微笑表情触发拍照。

MLMaxSizeFaceTransactor transactor = new MLMaxSizeFaceTransactor.Creator(analyzer, new MLResultTrailer() {

@Override

public void objectCreateCallback(int itemId, MLFace obj) {

LiveFaceAnalyseActivity.this.overlay.clear();

if (obj == null) {

return;

}

LocalFaceGraphic faceGraphic =

new LocalFaceGraphic(LiveFaceAnalyseActivity.this.overlay, obj, LiveFaceAnalyseActivity.this);

LiveFaceAnalyseActivity.this.overlay.addGraphic(faceGraphic);

MLFaceEmotion emotion = obj.getEmotions();

if (emotion.getSmilingProbability() > smilingPossibility) {

safeToTakePicture = false;

mHandler.sendEmptyMessage(TAKE_PHOTO);

}

}

@Override

public void objectUpdateCallback(MLAnalyzer.Result var1, MLFace obj) {

LiveFaceAnalyseActivity.this.overlay.clear();

if (obj == null) {

return;

}

LocalFaceGraphic faceGraphic =

new LocalFaceGraphic(LiveFaceAnalyseActivity.this.overlay, obj, LiveFaceAnalyseActivity.this);

LiveFaceAnalyseActivity.this.overlay.addGraphic(faceGraphic);

MLFaceEmotion emotion = obj.getEmotions();

if (emotion.getSmilingProbability() > smilingPossibility && safeToTakePicture) {

safeToTakePicture = false;

mHandler.sendEmptyMessage(TAKE_PHOTO);

}

}

@Override

public void lostCallback(MLAnalyzer.Result result) {

LiveFaceAnalyseActivity.this.overlay.clear();

}

@Override

public void completeCallback() {

LiveFaceAnalyseActivity.this.overlay.clear();

}

}).create();

this.analyzer.setTransactor(transactor);

通过LensEngine.Creator创建LensEngine实例进行视频流的人脸检测检测

this.mLensEngine = new LensEngine.Creator(context, this.analyzer).setLensType(this.lensType)

.applyDisplayDimension(640, 480)

.applyFps(25.0f)

.enableAutomaticFocus(true)

.create();

启动相机预览进行人脸检测

this.mPreview.start(this.mLensEngine, this.overlay);