Android人脸识别的初步学习

1. 代码组成

人脸识别流程中应该包含以下几个步骤

人脸检测 （DetecteActivity）

即从摄像头预览中检测到人脸的存在，并且使用一个矩形框出人脸的范围。

人脸注册 (RegisterActivity)

即将一张图片中的人脸信息，提取出特征值，将该特征值与人员信息建立联系。

人脸识别 （FR引擎）

2. 人脸注册

人脸注册是整个识别流程的基础，Demo中人脸注册的流程是在 RegsiterActivity 文件中处理的，该页面启动的时候接受 Intent 中传来的 imagePath 信息（图片地址）；

第一步是获取待注册的照片，我们可以可以使用摄像头，也可以使用照片。

获取图片后，将获得的图片转为 Bitmap，然后将其转化成 NV21 格式的 Byte 数组，因为我们使用的sdk只能处理 NV21 格式的数据，NV21 格式限制高度不能为奇数；

mBitmap = Application.decodeImage(mFilePath);

src.set(0,0,mBitmap.getWidth(),mBitmap.getHeight());

mSurfaceView = (SurfaceView)this.findViewById(R.id.surfaceView);

mSurfaceView.getHolder().addCallback(this);

view = new Thread(new Runnable() {

@Override

public void run() {

//等待holder创建

while (mSurfaceHolder == null) {

try {

Thread.sleep(100);

} catch (InterruptedException e) {

e.printStackTrace();

}

}

//创建字节数组 大小由拍照传来的图片尺寸决定

byte[] data = new byte[mBitmap.getWidth() * mBitmap.getHeight() * 3 / 2];

try {

//将bitmap转换成nv21，结果保存到data数组中

ImageConverter convert = new ImageConverter();

convert.initial(mBitmap.getWidth(), mBitmap.getHeight(), ImageConverter.CP_PAF_NV21);

if (convert.convert(mBitmap, data)) {

Log.d(TAG, “convert ok!”);

}

convert.destroy();

} catch (Exception e) {

e.printStackTrace();

}

第二步：

AFD_FSDKFace是人脸识别的结果，定义如下:

public class AFD_FSDKFace {

android.graphics.Rect mRect;

int mDegree;

}

调用AFD_FSDK_StillImageFaceDetection返回检测到的人脸信息

//创建FD人脸检测引擎

AFD_FSDKEngine engine = new AFD_FSDKEngine();

AFD_FSDKVersion version = new AFD_FSDKVersion();

List<AFD_FSDKFace> result = new ArrayList<AFD_FSDKFace>(); //注册结果？ 人脸探测结果

//初始化引擎

AFD_FSDKError err = engine.AFD_FSDK_InitialFaceEngine(

FaceDB.appid, FaceDB.fd_key, AFD_FSDKEngine.AFD_OPF_0_HIGHER_EXT, 16, 300);

//错误码

Log.d(TAG, "AFD_FSDK_InitialFaceEngine = " + err.getCode());

if (err.getCode() != AFD_FSDKError.MOK) {

//引擎初始化失败

Message reg = Message.obtain();

reg.what = MSG_CODE;

reg.arg1 = MSG_EVENT_FD_ERROR;

reg.arg2 = err.getCode();

mUIHandler.sendMessage(reg);

}

err = engine.AFD_FSDK_GetVersion(version);

Log.d(TAG, “AFD_FSDK_GetVersion =” + version.toString() + ", " + err.getCode());

//FD人脸探测，转化的nv21数据数组，传入图片的宽度、高度、NV21、探测结果

err = engine.AFD_FSDK_StillImageFaceDetection(data, mBitmap.getWidth(), mBitmap.getHeight(), AFD_FSDKEngine.CP_PAF_NV21, result);

Log.d(TAG, “AFD_FSDK_StillImageFaceDetection =” + err.getCode() + “<” + result.size());

至此我们就获得了一张图片中的全部人脸数据了，他们都被保存在result这个List列表中。

第三步：

使用 FR 人脸识别引擎识别该位置人脸中的特征信息。

if (!result.isEmpty()) {

//探测结果不为空-存在人脸 FR 人脸识别

AFR_FSDKVersion version1 = new AFR_FSDKVersion();

AFR_FSDKEngine engine1 = new AFR_FSDKEngine();

AFR_FSDKFace result1 = new AFR_FSDKFace();

AFR_FSDKError error1 = engine1.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);

Log.d(“com.arcsoft”, "AFR_FSDK_InitialEngine = " + error1.getCode());

if (error1.getCode() != AFD_FSDKError.MOK) {

//人脸识别引擎初始化失败

Message reg = Message.obtain();

reg.what = MSG_CODE;

reg.arg1 = MSG_EVENT_FR_ERROR;

reg.arg2 = error1.getCode();

mUIHandler.sendMessage(reg);

}

error1 = engine1.AFR_FSDK_GetVersion(version1);

Log.d(“com.arcsoft”, “FR=” + version.toString() + “,” + error1.getCode()); //(210, 178 - 478, 446), degree = 1　780, 2208 - 1942, 3370

//提取人脸识别特征

error1 = engine1.AFR_FSDK_ExtractFRFeature(data, mBitmap.getWidth(), mBitmap.getHeight(), AFR_FSDKEngine.CP_PAF_NV21, new Rect(result.get(0).getRect()), result.get(0).getDegree(), result1);

Log.d(“com.arcsoft”, “Face=” + result1.getFeatureData()[0] + “,” + result1.getFeatureData()[1] + “,” + result1.getFeatureData()[2] + “,” + error1.getCode());

if(error1.getCode() == error1.MOK) {

//提取出了特征

mAFR_FSDKFace = result1.clone();

int width = result.get(0).getRect().width();

int height = result.get(0).getRect().height();

Bitmap face_bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.RGB_565);

Canvas face_canvas = new Canvas(face_bitmap);

face_canvas.drawBitmap(mBitmap, result.get(0).getRect(), new Rect(0, 0, width, height), null);

Message reg = Message.obtain();

reg.what = MSG_CODE;

reg.arg1 = MSG_EVENT_REG;

reg.obj = face_bitmap;

mUIHandler.sendMessage(reg);

} else {

//没有提取出特征

Message reg = Message.obtain();

reg.what = MSG_CODE;

reg.arg1 = MSG_EVENT_NO_FEATURE;

mUIHandler.sendMessage(reg);

}

error1 = engine1.AFR_FSDK_UninitialEngine();

Log.d(“com.arcsoft”, "AFR_FSDK_UninitialEngine : " + error1.getCode());

} else {

//人脸识别解决为空，不存在人脸

Message reg = Message.obtain();

reg.what = MSG_CODE;

reg.arg1 = MSG_EVENT_NO_FACE;

mUIHandler.sendMessage(reg);

}

err = engine.AFD_FSDK_UninitialFaceEngine();

Log.d(TAG, “AFD_FSDK_UninitialFaceEngine =” + err.getCode());

}

});

第四步：

到此我们已经获得了整个人脸注册流程中所需要的几个关键值了：

人脸位置 Rect 及该 Rect 的 Bitmap；

人脸特征信息实例 mAFR_FSDKFace；

检测到了人脸，我们可以输入相应的描述信息，加入到人脸库中。

public void addFace(String name, AFR_FSDKFace face) {

try {

//check if already registered.

boolean add = true;

for (FaceRegist frface : mRegister) {

if (frface.mName.equals(name)) {

frface.mFaceList.add(face);

add = false;

break;

}

}

if (add) { // not registered.

FaceRegist frface = new FaceRegist(name);

frface.mFaceList.add(face);

mRegister.add(frface);

}

//清空原有txt文件

if (saveInfo()) {

//update all names

//把当前内存里的新数据全部重新添加一次

FileOutputStream fs = new FileOutputStream(mDBPath + “/face.txt”, true);

ExtOutputStream bos = new ExtOutputStream(fs);

for (FaceRegist frface : mRegister) {

bos.writeString(frface.mName);

}

bos.close();

fs.close();

//save new feature

fs = new FileOutputStream(mDBPath + “/” + name + “.data”, true);

bos = new ExtOutputStream(fs);

bos.writeBytes(face.getFeatureData());

bos.close();

fs.close();

}

} catch (FileNotFoundException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

}

销毁人脸检测引擎

err = engine.AFD_FSDK_UninitialFaceEngine();

Log.d(TAG, “AFD_FSDK_UninitialFaceEngine =” + err.getCode());

3. 实现人脸识别

初始化相机：引擎需要的图像格式是NV21的，所以需要将摄像头中的图像格式预设置为NV21

@Override

public Camera setupCamera() {

// TODO Auto-generated method stub

mCamera = Camera.open(mCameraID);

try {

Camera.Parameters parameters = mCamera.getParameters();

parameters.setPreviewSize(mWidth, mHeight);

parameters.setPreviewFormat(mFormat);

for( Camera.Size size : parameters.getSupportedPreviewSizes()) {

Log.d(TAG, “SIZE:” + size.width + “x” + size.height);

}

for( Integer format : parameters.getSupportedPreviewFormats()) {

Log.d(TAG, “FORMAT:” + format);

}

List<int[]> fps = parameters.getSupportedPreviewFpsRange();

for(int[] count : fps) {

Log.d(TAG, “T:”);

for (int data : count) {

Log.d(TAG, “V=” + data);

}

}

//parameters.setPreviewFpsRange(15000, 30000);

//parameters.setExposureCompensation(parameters.getMaxExposureCompensation());

//parameters.setWhiteBalance(Camera.Parameters.WHITE_BALANCE_AUTO);

//parameters.setAntibanding(Camera.Parameters.ANTIBANDING_AUTO);

总结

【Android 详细知识点思维脑图（技能树）】

我个人是做Android开发，已经有十来年了，目前在某创业公司任职CTO兼系统架构师。虽然 Android 没有前几年火热了，已经过去了会四大组件就能找到高薪职位的时代了。这只能说明 Android 中级以下的岗位饱和了，现在高级工程师还是比较缺少的，很多高级职位给的薪资真的特别高（钱多也不一定能找到合适的），所以努力让自己成为高级工程师才是最重要的。

这里附上上述的面试题相关的几十套字节跳动，京东，小米，腾讯、头条、阿里、美团等公司19年的面试题。把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节。

由于篇幅有限，这里以图片的形式给大家展示一小部分。

网上学习 Android的资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

最后，赠与大家一句话，共勉！

[外链图片转存中…(img-JUoYfRN2-1719514540293)]

我个人是做Android开发，已经有十来年了，目前在某创业公司任职CTO兼系统架构师。虽然 Android 没有前几年火热了，已经过去了会四大组件就能找到高薪职位的时代了。这只能说明 Android 中级以下的岗位饱和了，现在高级工程师还是比较缺少的，很多高级职位给的薪资真的特别高（钱多也不一定能找到合适的），所以努力让自己成为高级工程师才是最重要的。

这里附上上述的面试题相关的几十套字节跳动，京东，小米，腾讯、头条、阿里、美团等公司19年的面试题。把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节。

由于篇幅有限，这里以图片的形式给大家展示一小部分。

[外链图片转存中…(img-SfpAP8S4-1719514540294)]

网上学习 Android的资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

最后，赠与大家一句话，共勉！