kinect+opencv+mfc读取彩色摄像头

纠结了一下午的kinect初尝试,算是有一点小成果了，觉得这方面资料比较少，打算写一下总结。

前期准备

1.先安装Kinect的SDK，这里采用的是SDK1.8（虽然都17年了，但是老设备还是得装1.8）之前装2.0引起了插入Kinect一直闪烁无法装驱动的问题。
2.装好SDK后可以看看里面的小示例啦，然后就是安装opencv，这里选的是3.0，然后配置一些环境变量

3.安装好opencv后可以建一个控制台程序测试一下，记得导入一下opencv的库

int main()
{
    IplImage * test;
    test = cvLoadImage("./1.jpg");//图片路径
    cvNamedWindow("test_demo", 1);
    cvShowImage("test_demo", test);
    cvWaitKey(0);
    cvDestroyWindow("test_demo");
    cvReleaseImage(&test);
    return 0;
}

开始一步步写MFC啦

1.创建一个mfc工程，创建步骤不细说了，参考
http://blog.csdn.net/sxlsxl119/article/details/51258998
先实现打开图片，写一个button处理函数如下所示。导入cvvImage类看上述文章教程

void CopentestDlg::OnBnClickedButton1()
{
    flag = false;
    // TODO: 在此添加控件通知处理程序代码
    AfxMessageBox(_T("点击了打开图片！"));
    IplImage *image = NULL; //原始图像
    if (image) cvReleaseImage(&image);
    image = cvLoadImage("./1.jpg", 1); //显示图片
    DrawPicToHDC(image, IDC_STATIC);
}

效果大概是这样的

2.再参考
http://blog.csdn.net/kh1445291129/article/details/50778913
实现一下电脑自带视频流的捕捉。注意这里在初始化函数OnInitDialog()添加了一部分代码用来隐藏事先创建好的视频框，在那个位置打开opencv的视频框如下：

    // TODO: 在此添加额外的初始化代码
    cvNamedWindow("view", CV_WINDOW_AUTOSIZE);
    HWND hWnd = (HWND)cvGetWindowHandle("view");
    HWND hParent = ::GetParent(hWnd);
    ::SetParent(hWnd, GetDlgItem(IDC_STATIC)->m_hWnd);
    ::ShowWindow(hParent, SW_HIDE);//隐藏父窗口
    flag = 1;
    kinectable = false;
    return TRUE;  // 除非将焦点设置到控件，否则返回 TRUE

写一个button处理函数打开摄像头如下

void CopentestDlg::OnBnClickedButton2()
{
    // 点击打开电脑自带摄像头
    AfxMessageBox(_T("将打开摄像头"));
    flag = true;
    CRect rect;
    CWnd *pWnd = GetDlgItem(IDC_STATIC);
    pWnd->GetClientRect(&rect); //获取控件大小
    int x = rect.Width();
    int y = rect.Height();
    cv::VideoCapture capture(0);
    while (flag) {
        cv::Mat frame;
        capture >> frame;
        cv::Mat dst;
        cv::resize(frame, dst, cv::Size(x, y), 0, 0, 1);
        cv::imshow("view", dst);
        cv::waitKey(30);
    }
}

1. 
   
2. 最后参考
   http://blog.csdn.net/zouxy09/article/details/8146266
   写一个button用来打开kinect，在这个基础上做了一些微小的改进，结合第2步的隐藏设置，直接可以在显示图片的框里显示kinect捕捉的2D视频,上面的连接里面对函数有非常详细的解释
   注意在工程中要引入Kinect的库文件
   
   附加依赖：
   

opencv_ts300.lib
opencv_world300.lib
kernel32.lib
user32.lib
winspool.lib
comdlg32.lib
advapi32.lib
shell32.lib
ole32.lib
oleaut32.lib
uuid.lib
odbc32.lib
odbccp32.lib
Kinect10.lib

void CopentestDlg::OnBnClickedButton3()
{
    // TODO: 在此添加控件通知处理程序代码
    kinectable = true;
    cv::Mat image;
    image.create(480, 640, CV_8UC3);
    //1、初始化NUI   
    HRESULT hr = NuiInitialize(NUI_INITIALIZE_FLAG_USES_COLOR);
    if (FAILED(hr))
    {
        AfxMessageBox(_T("打开kinect失败"));
        return ;
    }
    AfxMessageBox(_T("打开kinect成功"));
    //2、定义事件句柄   
    //创建读取下一帧的信号事件句柄，控制KINECT是否可以开始读取下一帧数据  
    HANDLE nextColorFrameEvent = CreateEvent(NULL, TRUE, FALSE, NULL);
    HANDLE colorStreamHandle = NULL; //保存图像数据流的句柄，用以提取数据   

                                     //3、打开KINECT设备的彩色图信息通道，并用colorStreamHandle保存该流的句柄，以便于以后读取  
    hr = NuiImageStreamOpen(NUI_IMAGE_TYPE_COLOR, NUI_IMAGE_RESOLUTION_640x480,
        0, 2, nextColorFrameEvent, &colorStreamHandle);
    if (FAILED(hr))//判断是否提取正确   
    {
        AfxMessageBox(_T("读取错误"));
        NuiShutdown();
        return ;
    }
    //cv::namedWindow("colorImage", CV_WINDOW_AUTOSIZE);
    CRect rect;
    CWnd *pWnd = GetDlgItem(IDC_STATIC);
    pWnd->GetClientRect(&rect); //获取控件大小
    int x = rect.Width();
    int y = rect.Height();
    //4、开始读取彩色图数据   
    while (kinectable)
    {
        const NUI_IMAGE_FRAME * pImageFrame = NULL;

        //4.1、无限等待新的数据，等到后返回  
        if (WaitForSingleObject(nextColorFrameEvent, INFINITE) == 0)
        {
            //4.2、从刚才打开数据流的流句柄中得到该帧数据，读取到的数据地址存于pImageFrame  
            hr = NuiImageStreamGetNextFrame(colorStreamHandle, 0, &pImageFrame);
            if (FAILED(hr))
            {
                AfxMessageBox(_T("不能获取彩色图像"));
                NuiShutdown();
                return;
            }

            INuiFrameTexture * pTexture = pImageFrame->pFrameTexture;
            NUI_LOCKED_RECT LockedRect;

            //4.3、提取数据帧到LockedRect，它包括两个数据对象：pitch每行字节数，pBits第一个字节地址  
            //并锁定数据，这样当我们读数据的时候，kinect就不会去修改它  
            pTexture->LockRect(0, &LockedRect, NULL, 0);
            //4.4、确认获得的数据是否有效  
            if (LockedRect.Pitch != 0)
            {
                //4.5、将数据转换为OpenCV的Mat格式  
                for (int i = 0; i<image.rows; i++)
                {
                    uchar *ptr = image.ptr<uchar>(i);  //第i行的指针  

                                                       //每个字节代表一个颜色信息，直接使用uchar  
                    uchar *pBuffer = (uchar*)(LockedRect.pBits) + i * LockedRect.Pitch;
                    for (int j = 0; j<image.cols; j++)
                    {
                        ptr[3 * j] = pBuffer[4 * j];  //内部数据是4个字节，0-1-2是BGR，第4个现在未使用   
                        ptr[3 * j + 1] = pBuffer[4 * j + 1];
                        ptr[3 * j + 2] = pBuffer[4 * j + 2];
                    }
                }
                cv::Mat dst;
                cv::resize(image, dst, cv::Size(x, y), 0, 0, 1);
                cv::imshow("view", dst);
                cv::waitKey(30);
                //imshow("colorImage", dst); //显示图像   
            }
            else
            {
                AfxMessageBox(_T("获取数据无效"));
            }

            //5、这帧已经处理完了，所以将其解锁  
            pTexture->UnlockRect(0);
            //6、释放本帧数据，准备迎接下一帧   
            NuiImageStreamReleaseFrame(colorStreamHandle, pImageFrame);
        }
        if (cvWaitKey(20) == 27)
            break;
    }
    //7、关闭NUI链接   
    NuiShutdown();
    return ;
}

大概结果是这样的

最后

也没什么干货，就是把找资料过程中一些比较好的教程做了个总结。但是程序写完奇怪的是kinect摄像头和自带摄像头并不能一起调用。