[HI3516DV300开发笔记]HiSi NNIE + opencv解算openpose人体关键点输出

---

本章博客上接：

《[HI3516DV300开发笔记]opencv移植与使用》

https://blog.csdn.net/abc517789065/article/details/103574974 

---

有两种做事方式，一种是每一步都要做到完善；另外一种是走一步看一步，打通全程再回头整理。以前我是前一种，但后来发现，这种思路在我身上其实是拖延症。

按照道理来说，openCV移植好了，我应该新建一套工程代码来整合HISI SVP NNIE demo的C与openCV C++进行混合编程，但是那样太花时间。还是尽快拿到结果为好。

所以在openCV移植到开发板完毕的情况下，先利用openCV的C接口对openpose模型的推理输出进行处理，尽快解算出NNIE的输出数据。

---

<0> 编译路径

我的HISI SDK SVP路径是：...\Hi3516CV500_SDK_V2.0.1.1\smp

NNIE Sample路径是：...\Hi3516CV500_SDK_V2.0.1.1\smp\a7_linux\mpp\sample\svp\nnie

<1> 添加openCV头文件到HISI SDK sample目录

将openCV交叉编译后生成的include文件夹下的opencv & opencv2目录拷贝到HISI SDK路径：

...\Hi3516CV500_SDK_V2.0.1.1\smp\a7_linux\mpp\include 

修改..\Hi3516CV500_SDK_V2.0.1.1\smp\a7_linux\mpp\Makefile.linux.param 文件中的 INC_FLAGS：

由 INC_FLAGS := -I$(REL_INC) 改为 -I$(REL_INC)/opencv/ -I$(REL_INC)/opencv2/

<2>  添加openCV库文件到HISI SDK sample目录

将openCV交叉编译后生成的lib文件夹下的所有库文件拷贝到：

...\sdk_hisi3516dv300\Hi3516CV500_SDK_V2.0.1.1\smp\a7_linux\mpp\lib下

向 ..\Hi3516CV500_SDK_V2.0.1.1\smp\a7_linux\mpp\Makefile.linux.param 文件中添加：

CFLAGS += -L $(REL_LIB) -lopencv_world -lrt -ldl

<3> 测试

在sample_nnie.c文件内添加头文件引用#include<opencv/cv.h>；然后随便找个地方新建变量 CvMat img；

make成功即可。

---

通过调用opencv的C接口实现功能，头文件引入例如 #include <opencv/cv.h> 即可

上篇博客说过，为了实现人体2D关键点的结算，需要对25个关键点的46*46的置信图进行解析

所谓置信图，就是一组概率数据，超过预设阈值且概率局部最大的位置就是人体关键点，一张图片的一种关键点可能有多个(多个人)

置信图先后经过高斯滤波，二值化，边沿查找，找到图片中超过阈值的最可能是人体关键点的位置，结算出坐标

具体的说，以这张图（PC端用python+opencv检测显示）为例：

橙色点标示nose，在46*46*25的置信图数据中，第1个46*46的矩阵就是nose的置信图

通过对置信图矩阵进行平滑滤波，二值化，边沿查找等操作，最终会找出三个局部最大值点，通过坐标转换（置信图是46*46而输入是368*368），就是图示的三个nose位置：

Keypoints - Nose : [(36, 22, 0.86816400000000005), (23, 15, 0.93554700000000002), (14, 15, 0.87597700000000001)]

(36, 22) (23, 15) (14, 15)是在46*46置信图内的位置

Keypoints - Nose : [(291, 179, 0.84146020312500003), (188, 123, 0.89069948828125001), (115, 124, 0.8388971328125)]

(291,179) (188, 123) (115, 124)是在368*368显示图（上图）中标点的位置

---

结算部分代码：

<0> 生成置信图Mat并赋值

CvMat *pFloat32Mat = NULL;
CvMat *pUint8Mat = NULL;
pFloat32Mat = cvCreateMat(46, 46, CV_32FC1);	//创建Mat 存储置信图
pUint8Mat = cvCreateMat(46, 46, CV_8UC1); 	//创建Mat 存储二值图

<1> 将NNIE的输出赋值到Mat

for(n = 0; n < pstNnieParam->astSegData[u32SegIdx].astDst[u32NodeIdx].u32Num; n++){
    //取出输出数据的前46*46*25个关键点置信图矩阵 i是通道计数
    for(i = 0;i < /*u32Chn*/25; i++){
          for(j = 0; j < u32Height; j++){
               for(k = 0; k < u32Width; k++){
                 //将置信图矩阵赋值到pFloat32Mat
                 cvmSet(pFloat32Mat, j, k, (HI_FLOAT)(*(ps32ResultAddr + k) * 0.000244));
			    }
          ps32ResultAddr += u32Stride/sizeof(HI_U32);
    }
    //其它代码....
}

<2> 高斯滤波(平滑)，二值化置信矩阵，并统计每个通道大于阈值的点的个数

//对置信图进行高斯滤波
cvSmooth(pFloat32Mat, pFloat32Mat, CV_GAUSSIAN, 3, 3, 0, 0);
//对置信图进行二值化，阈值是0.1
cvThreshold(pFloat32Mat, pUint8Mat, 0.1, 1, CV_THRESH_BINARY);

highConfidencePointCnt = 0;
//遍历二值化后的置信图
for(y = 0; y < 46; y++){
	for(x = 0; x < 46; x++){
        uint8Num = *((HI_U8*)(pUint8Mat->data.ptr + pUint8Mat->step * (y) + (sizeof(HI_U8))*(x)));
        //检测到此时置信图不为0的点，也即是概率大于0.1的高可能性点
	    if(uint8Num != 0){
                //统计高置信概率点的个数
                printf("(%d, %d, %f)  ", x, y, cvmGet(pFloat32Mat, y, x));                           
                highConfidencePointCnt++;
	    }
	}
}	

<3> 提取关键点

提取关键点用的方法是通过第<2>步中找到的图像边沿，找到每个边沿中置信度最高的点：

typedef struct __NNIE_OPENPOSE_KEY_POINT_RESULT__{
	HI_BOOL isResultUpdating;	//是否正在检测中
	HI_BOOL isPointDetected;	//是否检测到人体关键点
	HI_U8 pointNum[25];
	POINT_S raw_point[25][20];	//25个人体关键点,每张图每个人体关键点假设最大20个
}OPENPOSE_BODYKEYPOINT_RESULT_s;

static OPENPOSE_BODYKEYPOINT_RESULT_s openpose_keypoint_result;

openpose_keypoint_result.raw_point[i]是第i类人体关键点在46*46的置信图中的坐标位置；

i对应的顺序：鼻子，脖子，右肩膀，右肘，右手腕......：

const HI_U8* openpose_body_keypoint_str[25]= {
	"Nose", "Neck", "R-Sho", "R-Elb", "R-Wr", "L-Sho", "L-Elb", "L-Wr", 
	"R-Hip", "R-Knee", "R-Ank", "L-Hip", "L-Knee", "L-Ank", "R-Eye", 
	"L-Eye", "R-Ear", "L-Ear", "LBigToe", "LSmallToe", "LHeel", "RBigToe",
	"RSmallToe", "RHeel", "Background",
};

提取过程：

//提取关键点
openpose_keypoint_result.pointNum[i] = 0;
for(; pContOurs != NULL; pContOurs = pContOurs->h_next){
	HI_FLOAT confidenceRate = 0, confidenceRateMax = 0;
	//查找某个边沿内所有点中概率最大点
	for(x = 0; x < pContOurs->total; x++){
		CvPoint *pt = (CvPoint*)cvGetSeqElem(pContOurs, x);
		confidenceRate = cvmGet(pFloat32Mat, pt->y, pt->x); //置信度
		//找出位于同一边缘的最大置信度点
		if(confidenceRate > confidenceRateMax){
			openpose_keypoint_result.raw_point[i][openpose_keypoint_result.pointNum[i]].s32X = pt->x;
			openpose_keypoint_result.raw_point[i][openpose_keypoint_result.pointNum[i]].s32Y = pt->y;
			confidenceRateMax = confidenceRate;
		}
	}
	OursNum++;
	openpose_keypoint_result.pointNum[i]++;
}

<4> 坐标结算的问题

从46*46的置信图获取到人体关键点的位置后，需要显示出来，但是我用的HISI的VO是1080P的，分辨率1920*1080

因此，若是某个点的位置移动了1个像素，显示上会跳动相当大的位置，出现显示检测点不断跳动的问题：

绿色是推理的鼻子位置，蓝色是脖子，红色是双肩，紫色是双肘，视频懒得传，GIF勉强看下坐标跳动的问题：

 

解决这个问题的办法应该有一些，大概可能用cvDrawContours绘制某个边沿，再用cvMoments找到形心可以？

因为是新手，也是基本靠猜靠试。

我懒得去试了，因为我认为目前这已经不是主要矛盾，数据对就可以。

还是前面说的那个思路：先打通流程，细节慢慢完善。同样的，越到后面，细节的决定作用越重要且越难处理；速度，流程，都是还有很多可以优化的。但他的前提是到了后面的阶段。

---

目前为止，移植openpose已经可以提取到关键点。

由于实际的检测图片是368*368，输出是46*46，因此放大到显示时，显示的检测位置会有较明显跳动

检测单人且单人位于图像主要位置时，效果还不错（其实做这个的初衷已经得到部分实现）

检测多人时，则效果不理想

除了关键点之外，openpose的输出还包括人体亲和度矩阵PAFs

接下来的博客先尝试解析并显示