MXNet 特征点提取基本流程

MXNet 特征点提取基本流程

以 Android 调用 MXNet 为例：

开源 MXNet 代码：incubator-mxnet

其中 Android 部分代码路径：incubator-mxnet/amalagamation/jni

文件	说明
org_dmlc_mxnet_Predictor.h	MXNet JNI 接口声明文件
predictor.cc	MXNet JNI 接口实现文件
org/dmlc/mxnet/MxnetException.java	MXNet JNI 接口相关的 Java 端报错文件（示例）
org/dmlc/mxnet/Predictor.java	MXNet JNI 接口相关的 Java 端接口文件（示例）

分析一下 predictor.cc 文件的每个接口功能：

MXNet 的 JNI 接口

查看 org/dmlc/mxnet/Predictor.java 文件可以知道 MXNet 的 Android 端基本接口只有 4 个。

---

private native static long createPredictor(byte[] symbol, byte[] params, int devType, int devId, String[] keys, int[][] shapes);
private native static void nativeFree(long handle);
private native static float[] nativeGetOutput(long handle, int index);
private native static void nativeForward(long handle, String key, float[] input);

---

主要功能：

接口	描述
createPredictor	初始化 MXNet predictor
nativeFree	释放 MXNet 资源（关闭 MXNet 功能）
nativeGetOutput	获取特征点信息
nativeForward	输入需要提取特征的元素数据

createPredictor

---

/*
 * Class:     org_dmlc_mxnet_Predictor
 * Method:    createPredictor
 * Signature: ([B[BII[Ljava/lang/String;[[I)J
 */
JNIEXPORT jlong JNICALL Java_org_dmlc_mxnet_Predictor_createPredictor
  (JNIEnv *, jclass, jbyteArray symbol, jbyteArray params, jint devType, jint devId, jobjectArray keys, jobjectArray shapes);

---

创建 MXNet predictor （预测器），用于对图片数据提取特征。

参数名	JNI 类型	Java 类型	说明
symbol	jbyteArray	byte[]	模型 symbol 数据（字节流）
params	jbyteArray	byte[]	模型 params 数据（字节流）
devType	jint	int	机器学习使用的硬件类型，支持 CPU(1), GPU(2), CPU Pinned(3) 等
devId	jint	int	predictor 的设备 id （用于区分其它 MXNet 成员）
keys	jobjectArray	String[]	输入参数的名称，对于 feedforward 是 {“data”}
shapes	jobjectArray	int[][]	多组输入节点的 shape 数据
返回值	jlong	long	返回创建的 predictor 的句柄（通过该句柄使用不同的 MXNet predictor）

nativeFree

---

/*
 * Class:     org_dmlc_mxnet_Predictor
 * Method:    nativeFree
 * Signature: (J)V
 */
JNIEXPORT void JNICALL Java_org_dmlc_mxnet_Predictor_nativeFree
  (JNIEnv *, jclass, jlong handle);

---

用于释放对应的 MXNet predictor 数据，回收资源。

参数名	JNI 类型	Java 类型	说明
handle	jlong	long	predictor 句柄，用于找到对应 MXNet 数据进行释放

nativeGetOutput

---

/*
 * Class:     org_dmlc_mxnet_Predictor
 * Method:    nativeGetOutput
 * Signature: (JI)[F
 */
JNIEXPORT jfloatArray JNICALL Java_org_dmlc_mxnet_Predictor_nativeGetOutput
  (JNIEnv *, jclass, jlong handle, jint index);

---

获取特征点数据（已经经过机器学习根据模型提取特征点）。

参数名	JNI 类型	Java 类型	说明
handle	jlong	long	predictor 句柄（同上）
index	jint	int	shape 数据索引，获取第 index 组 shape 数据（MXNet 支持多种检测 shape）

nativeForward

---

/*
 * Class:     org_dmlc_mxnet_Predictor
 * Method:    nativeForward
 * Signature: (JLjava/lang/String;[F)V
 */
JNIEXPORT void JNICALL Java_org_dmlc_mxnet_Predictor_nativeForward
  (JNIEnv *, jclass, jlong handle, jstring key, jfloatArray input);

---

输入图片数据，用于提取特征点。

参数名	JNI 类型	Java 类型	说明
handle	jlong	long	predictor 句柄（同上）
key	jstring	String	设置输入数据的参数名称
input	jfloatArray	float[]	图片数据，注意把 [ Y, X, RGB ] 的维度转为 [ RGB, Y, X ] 的维度

其中 input (float[]) 数据需要 RGB 数据（不需要 Alpha 透明度），而且还要进行维度转换：

[ 行，列，色深（RGB） ] 转为 [ 色深（RGB），行，列 ]。

另外不同的模型对 RGB 值会有一些偏移，也需要注意不同模型的参数。

参考代码如下：

---

public float[] inputFromImage(Bitmap[] bmps, float meanR, float meanG, float meanB) {
    if (bmps.length == 0) return null;

    int width = bmps[0].getWidth();
    int height = bmps[0].getHeight();
    float[] buf = new float[height * width * 3 * bmps.length];
    for (int x=0; x<bmps.length; x++) {
        Bitmap bmp = bmps[x];
        if (bmp.getWidth() != width || bmp.getHeight() != height)
            return null;
  
        int[] pixels = new int[ height * width ];
        bmp.getPixels(pixels, 0, width, 0, 0, height, width);
  
        int start = width * height * 3 * x;
        for (int i=0; i<height; i++) {
            for (int j=0; j<width; j++) {
                int pos = i * width + j;
                int pixel = pixels[pos];
                buf[start + pos] = Color.red(pixel) - meanR;
                buf[start + width * height + pos] = Color.green(pixel) - meanG;
                buf[start + width * height * 2 + pos] = Color.blue(pixel) - meanB;
            }
        }
    }

    return buf;
}

---