mediapipe中的人脸检测(java)代码初探

1.android代码，从创建activity说起.

facedetectioncpu（我们暂时讲cpu版本) 下的MainActivity.java文件.

a. 毫无疑问，我们来看看.

protected void onCreate(Bundle savedInstanceState);

 

在创建activity的时候，做了些什么工作呢？

    super.onCreate(savedInstanceState);
    setContentView(R.layout.activity_main);

    previewDisplayView = new SurfaceView(this);
    setupPreviewDisplayView();

    // Initialize asset manager so that MediaPipe native libraries can access the app assets, e.g.,
    // binary graphs.
    AndroidAssetUtil.initializeNativeAssetManager(this);

    eglManager = new EglManager(null);
    processor =
        new FrameProcessor(
            this,
            eglManager.getNativeContext(),
            BINARY_GRAPH_NAME,
            INPUT_VIDEO_STREAM_NAME,
            OUTPUT_VIDEO_STREAM_NAME);
    processor.getVideoSurfaceOutput().setFlipY(FLIP_FRAMES_VERTICALLY);

以上是　部分代码.

b.加载了　layout文件夹下的　activity_main.xml　文件.

c.创建了 SurfaceView　..

然后设置一下　预览的视图　参数. 下面是代码：

    previewDisplayView.setVisibility(View.GONE);
    ViewGroup viewGroup = findViewById(R.id.preview_display_layout);
    viewGroup.addView(previewDisplayView);

只是　部分代码.

只是刚开始，控件是不可见的，

然后去xml 文件　去找这个控件,添加之.

Surface的　三种状态　回调代码就　不贴出了,  A.创建，B.　改变　C. 销毁　（这三个）

 

2.接着我们继续看

AndroidAssetUtil.initializeNativeAssetManager(this);

从　字面本意上看，是初始化本地assert　文件管理.

跟踪进去看，原来这个是静态函数，实际上调用的是　native 写的.

  public static boolean initializeNativeAssetManager(Context androidContext) {
    return nativeInitializeAssetManager(
        androidContext, androidContext.getCacheDir().getAbsolutePath());
  }

至于这个c/c++代码，实现了啥，这里暂时不跟下去.

 

3.接着我们继续往下看.

    eglManager = new EglManager(null);

哦，这个原来是　OpenGL 的　初始化地方.

那它做了神嘛呢？

点进去看了下.

原来　EglManager（null）,只是它其中的一个构造函数.调用了下面这个

  public EglManager(@Nullable Object parentContext, @Nullable int[] additionalConfigAttributes) {
    singleIntArray = new int[1];
    egl = (EGL10) EGLContext.getEGL();
    eglDisplay = egl.eglGetDisplay(EGL10.EGL_DEFAULT_DISPLAY);
    if (eglDisplay == EGL10.EGL_NO_DISPLAY) {
      throw new RuntimeException("eglGetDisplay failed");
    }
    int[] version = new int[2];
    if (!egl.eglInitialize(eglDisplay, version)) {
      throw new RuntimeException("eglInitialize failed");
    }
....
}

这里，我们不过多介绍了，我们理解它　可以正确完成初始化就好.

 

4.继续往下看...

    processor =
        new FrameProcessor(
            this,
            eglManager.getNativeContext(),
            BINARY_GRAPH_NAME,
            INPUT_VIDEO_STREAM_NAME,
            OUTPUT_VIDEO_STREAM_NAME);

其中的 BINRAY_GRAPH_NAME　变量是:     facedetectioncpu.binarypb

从代码上看　是要加载这个文件.（估计这个是核心部分）

 

事实上，在我们创建app　时，bazel　build的时候，做了一些预处理.

来看我么的BUILD 文件.

genrule(
    name = "binary_graph",
    srcs = ["//mediapipe/graphs/face_detection:mobile_cpu_binary_graph"],
    outs = ["facedetectioncpu.binarypb"],
    cmd = "cp $< $@",
)

android_library(
    name = "mediapipe_lib",
    srcs = glob(["*.java"]),
    assets = [
        ":binary_graph",
        "//mediapipe/models:face_detection_front.tflite",
        "//mediapipe/models:face_detection_front_labelmap.txt",
    ],
...

)

 

在　graphs下的 face_detection下的BUILD 文件里

mediapipe_binary_graph(
    name = "mobile_cpu_binary_graph",
    graph = "face_detection_mobile_cpu.pbtxt",
    output_name = "mobile_cpu.binarypb",
    deps = [":mobile_calculators"],
)

恩？

那么face_detection_mobile_cpu.pbtxt　这个文件是干嘛的呢？

难道就是上面　两三段代码，将定义的 xx.pbtxt 与　xx_front.tflite 和　xx_front_labelmap.txt  相关联的？

 

5.进去看了看（face_detection_mobile_cpu.pbtxt）

定义了一些Node，还有算子,(包括配置算子参数等)

难道这里面　就是真正实现了　检测人脸算法的过程？（一系列，甚至包括，人脸检测出来信息，框体位置转化，甚至绘制在表面都在这里完成？　）

 

然后　就初始化了,跑起来了？

（是这样的，看完代码之后才知道，原来检测速度流畅是有原因的）

后面没什么代码了　（就是打开摄像头.(如果权限有的话，就打开摄像头...)）

代码是：

  @Override
  protected void onResume() {
    super.onResume();
    converter = new ExternalTextureConverter(eglManager.getContext());
    converter.setFlipY(FLIP_FRAMES_VERTICALLY);
    converter.setConsumer(processor);
    if (PermissionHelper.cameraPermissionsGranted(this)) {
      startCamera();
    }
  }

 

作者对加载过程还是不太明白，如有正在研究这框架的伙伴，欢迎　各位大佬　指点迷津：

留言即可.谢谢啦