2D人脸识别之Camera篇


一、概述

本文主要介绍2D人脸识别中的Camera图像采集部分,目前市面上Android阵营中大部分机型都使用的是2D人脸识别;图像采集主要是获取目标的RGB图像,2D人脸图像获取相对简单,只需要获取到RGB的图像信息,不需要深度信息。获取图像数据信息的方式只需要一个普通摄像头模组即可,简单方便。



二、Camera组件架构

2e2de8651ae706fdc8f19de74354affd.png

图1 Camera架构

图1主要展示了Camera HAL及以上的组件架构,Android 5.0对拍照API进行了全新的设计,新增了全新设计的Camera v2 API,这些API不仅大幅提高了Android系统拍照的功能,还能支持RAW照片输出,甚至允许程序调整相机的对焦模式、曝光模式、快门等。



三、Camera数据流

1. Camera整体模型

581329253fa5dbb1d84ab8802f624f74.png

图2 Camera整体模型图

应用框架针对捕获的结果向相机子系统发出请求。一个请求对应一组结果。请求包含有关捕获和处理这些结果的所有配置信息。其中包括分辨率和像素格式;手动传感器、镜头和闪光灯控件;3A 操作模式;RAW 到YUV 处理控件;以及统计信息的生成等。这样一来,便可更好地控制结果的输出和处理。一次可发起多个请求,而且提交请求时不会出现阻塞。请求始终按照接收的顺序进行处理。

2.Camera Pipeline

37aa7e90e3a3fceb223e591eb4d1e5a6.png


图3 Camera Pipeline

图3主要描述Camera Sensor出图后经过不同图像处理后输出不同处理的图像。

其中Image Processing模块里面的一些参数是可以由应用层进行配置,比如Feature参数;

举例说明:

问题:在实际项目调试人脸识别Feature过程中就遇到过因为图质量较差的原因导致识别失败的问题,那如何解决?

解决方法:既然是图差的原因导致的,那就只能正向去优化人脸图像质量了,在图像处理模块中有一个模块叫NoiseReduction(降噪),查询默认参数为NOISE_REDUCTION_MODE_OFF

即Camera模块是关闭降噪功能的,将此参数设定为:

NOISE_REDUCTION_MODE_HIGH_QUALITY后再dump出人脸图像效果改善明显;



四、Camera Capture和Preview

1. Camera Capture

b30c6dc79408c3a9139dbb5050429ac5.png

应用层发起Capture请求且注册onImageCaptureCallback函数后,Camera模块拍照完会回调到应用端获取拍照图像buf;

如何设定Camera拍照参数:

0bf8f85e90a76a1c95e6bb3a61b03deb.png

android.hardware.camera2.CaptureRequest.Builder

A builder for capture requests.

CaptureRequest 表示一个捕捉的请求。可以为不同的场景(预览、拍照)创建不同的捕捉请求,并可以配置不同的捕捉属性,如:预览分辨率,预览目标,对焦模式、曝光模式等等。

通过 CameraDevice 对象的 createCaptureRequest() 方法得到一个 CaptureRequest.Builder 对象,基本配置都是通过该构造者来配置;最后通过CaptureRequest.Builder 对象的 build() 方法便可得到 CaptureRequest 实例。

400318c6737841fa71823cb91993e616.png

上述代码中就是通过CONTROL_AF_MODE_CONTINUOUS_PICTURE参数打开自动对焦功能;

captureBuilder.set(CaptureRequest.CONTROL_AF_MODE,CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);

dd9e1c4403b908b833c30edb533c655a.png


2. Camera Preview

7ca4aa07e814d259a0deb36149712505.png

应用层下发Surface资源到Camera模块且设定重复拍照模式setRepeatingRequest即可实现拍照预览;

五、Camera拍照详细流程

1. 拍照详细流程

8d90018425a04666b591ee2500ee8e0c.png

上图所示为Camera拍照的完整链路,其中最重要的函数调用就是connectDevice操作,这个步骤是实现Client连接CameraServer的关键一环,在项目开发过程中可能经常会遇到connect CameraServer失败的问题,比如Client进程对Camera权限没有配置,或者ImagerReader对象上一次操作没有释放导致没有调用disconnect还处于connect状态最终导致无法connect,又或者Camera资源本身被相机占用提示busy状态等等,针对各种场景需要对应措施进行处理,目的都是为了能否使Client和server连接成功。

同时在开发阶段,也需要对上述中异常情况进行提前预判并加入防呆措施,比如OpenCamera多次retry。

2. 图像格式说明

初始化时已经设置了图像格式为AIMAGE_FORMAT_YUV_420_888

f34335c9e78a8059f59c22abd2277f45.png

下面解释下YUV三通道的数据格式排布:

planes[0] 总是Y ,planes[1] 总是U(Cb), planes[2]总是V(Cr)。

在ImageFormat中,YUV_420_888格式的数值是35,当前格式是YUV_420_888,根据image的分辨率是 640 x 480 ,像素点个数是307200。下面分别对plane[0]、plane[1]、plane[2]作分析。

plane[0]表示Y,rowStride是640 ,其pixelStride是1 ,Y存储时中间无间隔,每行640个像素全是Y值,buffer size 是 plane[0]的1/4 ,buffer size / rowStride= 480,Y有480行。

plane[1]表示U,rowStride是320,其pixelStride也是1,连续的U之间没有间隔,每行只存储了320个数据,buffer size 是 plane[0]的1/4 ,buffer size / rowStride = 240 可知U有240行,对于U来说横纵都是1/2采样。

pane[2]和plane[1]相同。

六、Android人脸框架

1. 人脸架构

d255cdbf73a8ce17db92fbe66793159b.png

2. 人脸状态图

10cfa5576f3714336b24647a2c1ada05.png

七、人脸Preview关键参数链路

1. Preview

8ec7a75fbf01670d4f8e3a2e394d1777.png

2. Surface资源传递

APP层会创建Surface资源

53d67c44289ae4046d104b2766870fee.png

 创建Surface之后会将此资源经过Face框架一直传递到FaceHAL如上图所示,FaceHAL会将Surface资源传递到Camera模块。具体Surface资源格式如下图所示:

51b608a7037087eef9d1c66b20df4965.png

Surface资源是个动态Buf,可变参数长度由numFds、numInts决定,在version numFds numInts后的参数个数为numFds+numInts。

3. native_handle_t

在代码中结构体信息如下:

在代码中结构体信息如下:

17e6f6f0e2c491d1f05dc5543ff9e5a7.png

native_handle_t只是定义了一个描述buffer的结构体原型,这个原型和平台
无关,方便buffer在各个进程之间传递;


附录

NDK_VENDOR CameraAPI2预览和拍照代码实现



1. 代码链接

https://android.googlesource.com/platform/frameworks/av/+/refs/heads/master/camera/ndk/ndk_vendor/tests/AImageReaderVendorTest.cpp

2. Camera拍照流程-initImageReader

a5a6da1ed28f30d23ea5583ec6182506.png

 首先会调用initImageReader()函数,创建ImageReader对象,初始化图像宽度、高度、图像输出格式、用户属性、最大图像数量;

通过AImageReader_setImageListener设置回调函数onImageAvailable

b2d3b8b626d47a55798a5002ec58610c.png

在回调函数中调用AImageReader_acquireNextImage从ImageReader队列中请求图像数据

cfcf42fab886867f493f477963a77b63.png

接着调用AImage_getHardwareBuffer从HardwareBuffer对象中获取像素的实际数据:

be5f64ecdda2a0fae6ec54d7af737383.png

下面是判断获取的数据是否符合预期大小:

e4707c1e2ab8638b4a888b7484029866.png

 判断完图像长度、宽度后就是如何解析出真正需要的图像数据,使用AImage_getPlaneData函数可以解析出对应通道的像素矩阵;

6dbc3b85d52948695c810b6b306592e7.png



3. Camera拍照流程-CameraHelper

在初始化完ImagerReader后,会新建cameraHelper对象,cameraHelper会调用initCamera()函数对Camera相关进行初始化;

04ceccee128c72c2e06e60282a9552e3.png

那cameraHelper.initCamera里面具体细节干了什么呢?我们继续往下分析

496ace0da87efc53f1bbb28dce7478f7.png

(1)ACameraManager_openCamera

 initCamera函数中首先调用的是ACameraManager_openCamera操作,client发起对Camera的连接动作,我们可以继续追踪下ACameraManager_openCamera具体实现如下:

827ce954d1f48b051d75253cbc59fc0a.png

继续调用ACameraManager类中的openCamera函数:

402eacce5bbf797fa5b65b71c7e488df.png

 进入到这个函数已经是比较底层,就不一个个函数讲了,其中最重要的函数调用就是connectDevice操作,这个步骤是实现Client连接CameraServer的关键一环,在项目开发过程中可能经常会遇到connect CameraServer失败的问题,比如Client进程对Camera权限没有配置,或者ImagerReader对象上一次操作没有释放导致没有调用disconnect还处于connect状态最终导致无法connect,又或者Camera资源本身被相机占用提示busy状态等等,针对各种场景需要对应措施进行处理,目的都是为了能否使Client和server连接成功。

顺便再提下open_camera中还有一个大家熟知的获取Camera服务操作:

1ad4173c1d3c81345ef8c40a97eeb8f4.png

(2)ACaptureSessionOutputContainer_create

175d85df63becc0964db0752f3b30645.png

创建ACaptureSessionOutput类型集合mOutputs

然后mOutputs集合添加ACaptureSessionOutput新建的对象mImgReaderOutput

b3a892ee838b892915ecc3f4fb44dbb4.png

(3)cameraHelper.takePicture

a010503179a97c2bf3395f41e117f1d9.png

takePicture()函数被封装为触发Camera执行拍照动作;

具体实现为:

1132f12f76b7dfceb02e4af226ddd800.png

4. Camera Preview

(4)关键资源参数Surface

上面说了这么多拍照的流程,大家一定想知道Camera Preview是怎么实现的?继续跟踪Android源码;

我们先找到人脸录入的相关代码:

链接:

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/core/java/com/android/server/biometrics/sensors/face/hidl/FaceEnrollClient.java?r=659b4ee9#54

 
 

其中有一个跟预览很关键的参数:Surface previewSurface

8d42606d8409d3df4f5f6daeaa0141df.png

上面人脸录入是AndroidS以前经常用的HIDL接口方式,下面是AIDL接口

链接:

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/co

re/java/com/android/server/biometrics/sensors/face/aidl/FaceEnrollClient.java?r=659b4ee9

f613b1f19a5a4f9824f18192e00760f9.png

那有人就会问了,这个previewSurface是从哪里传下来的呢?

咱们再接着一层层挖掘。


(5)settings

代码链接:

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/packages/apps/Settings/src/c

om/android/settings/biometrics/face/FaceEnrollSidecar.java?r=35e1f0d1#51

7c585765b25eff1a52d2dc881271dcb8.png

 
 

对于使用VENDOR_NDK Camera API2接口传递Surface是使用FaceManager中的

enroll方法;

目前能从原生代码中找到的是Java层控制Camera如下:

4324388e779bd0fac4bb654fe00a657e.png

(6)FaceManager

代码链接:

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/core/java/a

ndroid/hardware/face/FaceManager.java?r=436f041e

4637a379f7b0aff3cc0e48b9737e71d9.png

(7)FaceService

代码链接:

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/co

re/java/com/android/server/biometrics/sensors/face/FaceService.java?r=88a506aa

fbbadb0a290afee47aa9f2e532dab49b.png

(8)FaceProvider

代码链接:

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/co

re/java/com/android/server/biometrics/sensors/face/aidl/FaceProvider.java?r=88a506aa#334

d54724ac9f87de6cf178dfab0d3e74d4.png

(9)FaceEnrollClient

ffad77af000d8eac68e69b2dcc9513ed.png

26d3071ef65a003c83f2d56e38b7f10a.png


调用到FaceEnrollClient这层时会再调用到startHalOperation函数

,然后通过AIDL接口传递到FaceHAL层。

(10)Face AIDL Java层代码是怎么跟HAL层代码交互的呢?就是通过AIDL或者HIDL,这里就只讲下AIDL
接口吧,在FaceProvider中会获取FaceHal的实例:

 继续说下人脸的AIDL接口;
代码链接:
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/biometri
cs/face/aidl/android/hardware/biometrics/face/ISession.aidl?r=fa0fb439#156

(11)FaceHALGoogle还提供了带AIDL接口实现的FaceHAL示例代码;
代码链接:
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/biometri
cs/face/aidl/default/


(12)native_handle_t 上述小节中描述了Surface参数的完整链路;
下面说下这个资源参数到底包含了哪些内容?
真正传递到HAL层的会通过native_handle_t* makeFromAidl(const
aidl::android::hardware::common::NativeHandle& handle);
函数将previewSurface转换为native_handle_t*指向的资源;
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/commo
n/support/include/aidlcommonsupport/NativeHandle.h?r=57fc6485#29
/prebuilts/vndk/v30/arm/include/system/core/libcuti
ls/include_vndk/cutils/native_handle.h
中定义了native_handle_t类型:

推荐Google Android源码查询ToolGoogleOpenGrok
https://android-opengrok.bangnimang.net/android-12.0.0_r3/search?project=frameworks&full=I
CameraService&defs=&refs=&path=&hist=&type=&xrd=1&nn=1


参考文献:图片来源链接:https://source.android.google.cn/devices/camera
Camera代码链接:
https://android.googlesource.com/platform/frameworks/av/+/refs/heads/master/camera/
长按关注内核工匠微信


Linux 内核黑科技 | 技术文章 | 精选教程
  • 3
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

内核工匠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值