Mediapipe框架学习之三——构建 MediaPipe 的 Android aar 包

Mediapipe官方文档

Mediapipe框架学习之一——Win10安装Mediapipe环境

Mediapipe框架学习之二——Android SDK and NDK 配置

Mediapipe框架学习之三——构建 MediaPipe 的 Android aar 包

Mediapipe框架学习之四——利用 Mediapipe aar 包，在AS中构建基于 Mediapipe 的手势识别App

附上工程文件： handtrackinggpu.zip

一、构建 mp_face_detection_aar.aar 包

1. 在 mediapipe/examples/android/src/java/com/google/mediapipe/apps 中，新建文件夹（aar_example）

2. 在新建文件夹（aar_example）中，新建 BUILD 文件（txt文本去掉后缀就对了）

如：mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example/BUILD.

3. 修改 BUILD 文件内容为

load("//mediapipe/java/com/google/mediapipe:mediapipe_aar.bzl", "mediapipe_aar")

mediapipe_aar(
    name = "mp_face_detection_aar",
    calculators = ["//mediapipe/graphs/face_detection:mobile_calculators"],
)

• name 为 aar 包的名字
• calculators 为将要构建的App所需的计算单元，Mediapipe 库已提供。

4. 运行下面命令构建 aar

• 先给予权限：

cd mediapipe

chmod -R 755 mediapipe/

• 再构建

bazel build -c opt --fat_apk_cpu=arm64-v8a,armeabi-v7a \
    //mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example:mp_face_detection_aar

#应该打印:
# Target //mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example:mp_face_detection_aar up-to-date:
# bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example/mp_face_detection_aar.aar

5. 复制生成的 aar 包到指定路径（aar_example文件夹中）

cp bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example/mp_face_detection_aar.aar //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example

6. 构建 facedetectiongpu:binary_graph 及相关文件

bazel build -c opt mediapipe/examples/android/src/java/com/google/mediapipe/apps/facedetectiongpu:binary_graph

• 复制生成的 facedetectiongpu.binarypb 文件到指定路径（aar_example文件夹中）

cp bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps/facedetectiongpu/facedetectiongpu.binarypb //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example

• 复制生成的face_detection_front.tflite 的文件到指定路径（aar_example文件夹中）

cp mediapipe/models/face_detection_front.tflite //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example

• 复制生成的 face_detection_front_labelmap.txt 的文件到指定路径（aar_example文件夹中）

cp mediapipe/models/face_detection_front_labelmap.txt //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/aar_example

7. 下载 opencv-3.4.3-android-sdk.zip （路径随意）

• 解压文件：
• 将 opencv-3.4.3-android-sdk.zip\OpenCV-android-sdk\sdk\native\libs 路径下的 arm64-v8a、armeabi-v7a、x86、x86_64 文件夹提取到新建文件夹（jniLibs）中

二、新建 Android Studio 工程

1. 添加文件

• 将 mp_face_detection_aar.aar 复制到新建 Android Studio 工程 /app/libs 目录下
• 将
  facedetectiongpu.binarypb、
  face_detection_front.tflite、
  face_detection_front_labelmap.txt
  复制到新建 Android Studio 工程 /app/src/main/assets(新建文件夹) 目录下
• 将 jniLibs 文件夹复制到新建 Android Studio 工程 /app/src/main/ 目录下

2. 修改 app/build.gradle 文件的依赖

dependencies {
    implementation fileTree(dir: 'libs', include: ['*.jar', '*.aar'])
    implementation 'androidx.appcompat:appcompat:1.0.2'
    implementation 'androidx.constraintlayout:constraintlayout:1.1.3'
    testImplementation 'junit:junit:4.12'
    androidTestImplementation 'androidx.test.ext:junit:1.1.0'
    androidTestImplementation 'androidx.test.espresso:espresso-core:3.1.1'
    // MediaPipe deps
    implementation 'com.google.flogger:flogger:0.3.1'
    implementation 'com.google.flogger:flogger-system-backend:0.3.1'
    implementation 'com.google.code.findbugs:jsr305:3.0.2'
    implementation 'com.google.guava:guava:27.0.1-android'
    implementation 'com.google.guava:guava:27.0.1-android'
    implementation 'com.google.protobuf:protobuf-lite:3.0.0'
    // CameraX core library
    def camerax_version = "1.0.0-alpha06"
    implementation "androidx.camera:camera-core:$camerax_version"
    implementation "androidx.camera:camera-camera2:$camerax_version"
}

至此全部依赖已添加完成。

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

@下面构建手势识别 handtrackinggpu_aar 依赖包并导入 mediapipe 例程中

1.在 mediapipe/examples/android/src/java/com/google/mediapipe/apps 目录下新建多级文件夹

handtrackinggpu_aar -> assets
------------------------------> libs
------------------------------> jniLibs

2. 在新建文件夹（handtrackinggpu_aar ）中，新建 BUILD 文件（txt文本去掉后缀就对了）—路径可修改

如：mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar /BUILD.

3. 修改 BUILD 文件内容为

load("//mediapipe/java/com/google/mediapipe:mediapipe_aar.bzl", "mediapipe_aar")

mediapipe_aar(
    name = "mp_face_detection_aar",
    calculators = ["//mediapipe/graphs/hand_tracking:mobile_calculators"],
)

• name ： aar 包名字不要变（本来想修改为 mp_hand_tracking_aar 再构建的，但是出错了，错误：在 BUILD 文件中没有定义‘mp_hand_tracking_aar ’，暂时没解决。）
  构建完成 mp_face_detection_aar.aar 包后再修改为自己想取的名字就好了。
• calculators ：face_detection 修改为 hand_tracking，
  如：
  calculators = ["//mediapipe/graphs/face_detection:mobile_calculators"],
  calculators = ["//mediapipe/graphs/hand_tracking:mobile_calculators"],

添加手势识别的计算单元，mediapipe/graphs/face_detection/BUILD文件已声明手势识别的计算单元

• 

4. 运行下面命令构建 aar

• 先给予权限：（给了权限就略过）

cd mediapipe

chmod -R 755 mediapipe/

• 再构建

bazel build -c opt --fat_apk_cpu=arm64-v8a,armeabi-v7a //mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar:mp_face_detection_aar

5. 复制生成的 aar 包到指定路径（handtrackinggpu_aar/libs文件夹中）

cp bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar/mp_face_detection_aar.aar //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar/libs

6. 构建 handtrackinggpu:binary_graph 及相关文件

bazel build -c opt mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu:binary_graph

• 复制生成的 handtrackinggpu.binarypb 文件到指定路径（handtrackinggpu_aar/assets文件夹中）

cp bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu/handtrackinggpu.binarypb //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar/assets

• 复制生成的 hand_landmark.tflite 的文件到指定路径（handtrackinggpu_aar/assets文件夹中）

cp mediapipe/models/hand_landmark.tflite //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar/assets

• 复制生成的 palm_detection.tflite 的文件到指定路径（handtrackinggpu_aar/assets文件夹中）

cp mediapipe/models/palm_detection.tflite //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar/assets

• 复制生成的 palm_detection_labelmap.txt 的文件到指定路径（handtrackinggpu_aar/assets文件夹中）

cp mediapipe/models/palm_detection_labelmap.txt //home/bot/mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu_aar/assets

7. 添加OpenCV相关文件

将 arm64-v8a、armeabi-v7a、x86、x86_64 文件夹复制到新建文件夹（jniLibs）中

完成！！！