在ubuntu14.04下openni+opencv+kinectV1的学习三：手势识别

1、编写代码

代码摘自小斤的博客： Kinect开发教程三：利用OpenNI进行手势识别

#include <stdlib.h>
#include <iostream>
#include "opencv/cv.h"
#include "opencv/highgui.h"
#include <XnCppWrapper.h>

using namespace std;
using namespace cv;

// output for XnPoint3D
ostream& operator<<( ostream& out, const XnPoint3D& rPoint )
{
    out << "(" << rPoint.X << "," << rPoint.Y << "," << rPoint.Z << ")";
    return out;
}

//【4】
// callback function for gesture recognized
void XN_CALLBACK_TYPE gestureRecog( xn::GestureGenerator &generator,
                                   const XnChar *strGesture,
                                   const XnPoint3D *pIDPosition,
                                   const XnPoint3D *pEndPosition,
                                   void *pCookie )
{
    cout << strGesture<<" from "<<*pIDPosition<<" to "<<*pEndPosition << endl;

int imgStartX=0;
int imgStartY=0;
int imgEndX=0;
int imgEndY=0;
char locationinfo[100];

imgStartX=(int)(640/2-(pIDPosition->X));
imgStartY=(int)(480/2-(pIDPosition->Y));
imgEndX=(int)(640/2-(pEndPosition->X));
imgEndY=(int)(480/2-(pEndPosition->Y));//设置点绘制坐标

IplImage* refimage=(IplImage*)pCookie;//获取画布首地址
if(strcmp(strGesture,"RaiseHand")==0)
{//发现举起手势就绘制小红点
    cvCircle(refimage,cvPoint(imgStartX,imgStartY),1,CV_RGB(255,0,0),2);
}
else if(strcmp(strGesture,"Wave")==0)
{//发现挥动手势就绘制小黄点
    cvLine(refimage,cvPoint(imgStartX,imgStartY),cvPoint(imgEndX,imgEndY),CV_RGB(255,255,0),6);
}
else if(strcmp(strGesture,"Click")==0)
{//发现前推手势就绘制大蓝点
    cvCircle(refimage,cvPoint(imgStartX,imgStartY),6,CV_RGB(0,0,255),12);
}

cvSetImageROI(refimage,cvRect(40,450,640,30));//设置图像的感兴趣区域（矩形），即设置图像操作区域
CvFont font;
cvInitFont( &font, CV_FONT_VECTOR0,1, 1, 0, 3, 5);//字体结构初始化
cvSet(refimage, cvScalar(255,255,255));//设置画布为白色
sprintf(locationinfo,"From: %d,%d to %d,%d",(int)pIDPosition->X,(int)pIDPosition->Y,(int)(pEndPosition->X),(int)(pEndPosition->Y));
cvPutText(refimage, locationinfo ,cvPoint(30, 30), &font, CV_RGB(0,0,0));//在画布上写字符串
cvResetImageROI(refimage);//取消感兴趣区域的设置
}

void clearImg(IplImage* inputimg)
{
    CvFont font;
    cvInitFont( &font, CV_FONT_VECTOR0,1, 1, 0, 3, 5);//初始化字体结构体
    memset(inputimg->imageData,255,640*480*3);//图像RGB值初始化
    cvPutText(inputimg, "Hand Raise!" ,cvPoint(20, 20), &font, CV_RGB(255,0,0));//红色
    cvPutText(inputimg, "Hand Wave!" , cvPoint(20, 50), &font, CV_RGB(255,255,0));//黄色
    cvPutText(inputimg, "Hand Push!" , cvPoint(20, 80), &font, CV_RGB(0,0,255));//蓝色
}

//【5】
// callback function for gesture progress
void XN_CALLBACK_TYPE gestureProgress( xn::GestureGenerator &generator,
                                      const XnChar *strGesture,
                                      const XnPoint3D *pPosition,
                                      XnFloat fProgress,
                                      void *pCookie )
{
    cout << strGesture << ":" << fProgress << " at " << *pPosition << endl;
}


int main( int argc, char** argv )
{
    IplImage* drawPadImg=cvCreateImage(cvSize(640,480),IPL_DEPTH_8U,3);
    IplImage* cameraImg=cvCreateImage(cvSize(640,480),IPL_DEPTH_8U,3);

cvNamedWindow("Gesture",1);
cvNamedWindow("Camera",1);

clearImg(drawPadImg);//清空手势绘制屏幕

XnStatus res;
char key=0;

// context
xn::Context context;
res = context.Init();//摄像头初始化
xn::ImageMetaData imgMD;

// create generator 
xn::ImageGenerator imageGenerator;
res = imageGenerator.Create( context ); //创建图像生成器
//【1】
xn::GestureGenerator gestureGenerator;
res = gestureGenerator.Create( context );//创建手势生成器

    //【2】
// Add gesture
//gestureGenerator.AddGesture( "MovingHand", NULL );
gestureGenerator.AddGesture( "Wave", NULL );
gestureGenerator.AddGesture( "Click", NULL );
gestureGenerator.AddGesture( "RaiseHand", NULL );//加入要识别的手势
//gestureGenerator.AddGesture("MovingHand",NULL);

    //【3】
// 6. Register callback functions of gesture generator
XnCallbackHandle handle;
//注册识别手势相关的回调函数
gestureGenerator.RegisterGestureCallbacks( gestureRecog, gestureProgress, (void*)drawPadImg, handle );

//start generate data
context.StartGeneratingAll();//开始收集图像数据
res = context.WaitAndUpdateAll();  

while( (key!=27) && !(res = context.WaitAndUpdateAll())  ) 
{  
    if(key=='c')
    {//c键按下就清除画布
        clearImg(drawPadImg);
    }

    imageGenerator.GetMetaData(imgMD);//获取图像数据
    memcpy(cameraImg->imageData,imgMD.Data(),640*480*3);//拷贝图像数据
    cvCvtColor(cameraImg,cameraImg,CV_RGB2BGR);//图像数据格式转换

    cvShowImage("Gesture",drawPadImg);//显示画布
    cvShowImage("Camera",cameraImg);//显示彩色图像

    key=cvWaitKey(20);//等待按键按下

}
cvDestroyWindow("Gesture");
cvDestroyWindow("Camera");//关闭窗口
cvReleaseImage(&drawPadImg);
cvReleaseImage(&cameraImg);//释放内存空间
context.StopGeneratingAll();//关闭数据收集开关
context.Shutdown();//关闭所有驱动并且正确地清除所

return 0;
}

编译运行之后，有如下图所示的实验效果。实验中，举手动作最容易被触发，正常坐着就能识别，而另外两个就不是了，识别效果较差。在站起来，有一些距离下识别效果好，最好的识别效果在某一段距离内，三个手势都能够准确识别。

2、代码解释

【1】clearImg(drawPadImg)函数清除了手势绘制窗口，并显示了红色的Hand Raise，黄色的Hand Wave和蓝色的Hand Push。
void cvInitFont( CvFont* font, int font_face, double hscale,double vscale, double shear=0, int thickness=1, int line_type=8 )函数的作用是初始化字体结构体。其中：
font 被初始化的字体结构体。
font_face 字体名称标识符。只是Hershey 字体集( http://sources.isc.org/utils/misc/hershey-font.txt )的一个子集得到支持。
CV_FONT_HERSHEY_SIMPLEX - 正常大小无衬线字体。
CV_FONT_HERSHEY_PLAIN - 小号无衬线字体。
CV_FONT_HERSHEY_DUPLEX - 正常大小无衬线字体。( 比CV_FONT_HERSHEY_SIMPLEX更复杂)
CV_FONT_HERSHEY_COMPLEX - 正常大小有衬线字体。
CV_FONT_HERSHEY_TRIPLEX - 正常大小有衬线字体 ( 比CV_FONT_HERSHEY_COMPLEX更复杂)
CV_FONT_HERSHEY_COMPLEX_SMALL - CV_FONT_HERSHEY_COMPLEX 的小译本。
CV_FONT_HERSHEY_SCRIPT_SIMPLEX - 手写风格字体。
CV_FONT_HERSHEY_SCRIPT_COMPLEX - 比CV_FONT_HERSHEY_SCRIPT_SIMPLEX更复杂。
这个参数能够由一个值和可选择的CV_FONT_ITALIC字体标记合成，就是斜体字。
hscale 字体宽度。如果等于1.0f，字符的宽度是最初的字体宽度。如果等于0.5f，字符的宽度是最初的字体宽度的一半。
vscale 字体高度。如果等于1.0f，字符的高度是最初的字体高度。如果等于0.5f，字符的高度是最初的字体高度的一半。
shear 字体的斜度。当值为0时 ，字符不倾斜；当值为1.0f时，字体倾斜≈45度，等等。厚度让字母着重显示。函数cvLine用于绘制字母。
thickness 字体笔划的粗细程度。
line_type 字体笔划的类型，参见cvLine。
函数cvInitFont初始化字体结构体，字体结构体可以被传递到文字显示函数中。摘自博客文章cvInitFont 。
memset(inputimg->imageData,255,640*480*3)作用是将已开辟内存空间的inputimg->imageData的首640*480*3个字节设置为255，感觉是在对图像的RGB值进行初始化。
cvPutText(CvArr* img, const char* text, CvPoint origin, const CvFont* font, CvScalar color);函数中各个参数的含义如下所示：
img—图片指针(需要说明的是，CvArr* 等价于void*，一般我们在这里传递一个IplImage*)；
text—显然是需要打印到图片上的字符串的内容；
origin—字符串在图片上打印的原点（即，字符串的左下角在图片中的位置）
font—描述字体属性的变量；
color—字体的颜色；
摘自博客文章opencv 中的 cvPutText() 函数的使用 。

【2】XnStatus xn::GestureGenerator::RegisterGestureCallbacks (GestureRecognized RecognizedCB, GestureProgress ProgressCB, void * pCookie, XnCallbackHandle & phCallback )
RecognizedCB是手势识别后的回调函数；
ProgressCB是手势进行中的回调函数；
pCookie是传给回调函数的指针，可以放一些用户数据；
phCallback是一个回调函数的handle，可用来注销回调函数，注销的方法是调用UnregisterGestureCallbacks ( XnCallbackHandle hCallback ) 。
OpenNI支持四种手势：RaiseHand, Wave, Click和MovingHand，分别代表手的“举起”，“挥动”，“前推”和“移动”四种动作。

【3】void cvCircle( CvArr* img, CvPoint center, int radius, CvScalar color, int thickness=1, int line_type=8, int shift=0 )函数的功能是指绘制圆形。其中参数有：
img 图像，即画布首地址
center 圆心坐标
radius 圆形的半径
color 线条的颜色
thickness 如果是正数，表示组成圆的线条的粗细程度。否则，表示圆是否被填充
line_type 线条的类型。见 cvLine 的描述
shift 圆心坐标点和半径值的小数点位数
摘自百度百科。

【4】cvSetImageROI(img1,cvRect(100,100,356,156))，（100,100）表示ROI区域的左上角坐标，356,156分别表示ROI区域的长宽，函数作用是设置改矩形区域为图像操作的感兴趣区域。具体解释可以查看博客文章。

【5】int sprintf( char *buffer, const char *format [, argument] … ); 功能：把格式化的数据写入buffer容器中（字符串），返回buffer的长度。这里s为一个buffer，类型为字符数组名或者字符指针（需要初始化）。