基于OpenNI2（win64） 的Structure Sensor应用开发完整教程

工具准备

1.从http://www.structure.io/openni 下载OpenNI-Windows-x64-2.2.0.33.zip
2.打开zip,运行其中的msi文件。安装完毕注销windows并重新登入（安装完毕后，将有两个新的环境变量OPENNI2_INCLUDE64,OPENNI2_LIB64被添加到系统环境变量中）
3.准备好visual studio 2010 或更高版本

创建第一个工程

新建win32控制台应用程序

配置工程依赖项

编写代码

以下代码是对OpenNI2提供的范例进行的归纳，任何与OpenNI2及深度传感器无关的代码都被略去。

启动OpenNI2和设备

以下是常规的读取深度帧的上下文初始化过程，其梗概是：
启动OpenNI2—>打开一个传感器设备—>通过设备创建一个视频流（这个流可以是深度图像流，颜色图像流或其他设备支持的流)

    openni::Status rc = openni::STATUS_OK;
    rc = openni::OpenNI::initialize();

    printf("After initialization:\n%s\n", openni::OpenNI::getExtendedError());

    openni::Device device;
    rc = device.open(openni::ANY_DEVICE);
    if (rc != openni::STATUS_OK)
    {
        printf("DepthSensor Viewer: Device open failed:\n%s\n", openni::OpenNI::getExtendedError());
        openni::OpenNI::shutdown();
        return 1;
    }

    openni::VideoStream depth;
    rc = depth.create(device, openni::SENSOR_DEPTH);
    auto videomode = new openni::VideoMode();
    videomode->setFps(30);
    videomode->setPixelFormat(openni::PIXEL_FORMAT_DEPTH_100_UM);
    videomode->setResolution(160, 120);
    depth.setVideoMode(*videomode);
    if (rc == openni::STATUS_OK)
    {
        rc = depth.start();
        if (rc != openni::STATUS_OK)
        {
            printf("DepthSensor Viewer: Couldn't start depth stream:\n%s\n", openni::OpenNI::getExtendedError());
            depth.destroy();
        }
    }
    else
    {
        printf("DepthSensor Viewer: Couldn't find depth stream:\n%s\n", openni::OpenNI::getExtendedError());
    }
    // m_streams 将在后面的代码片段中被用到，我们需要一个指针的数组作为参数
    m_streams = new VideoStream*[1];
    m_streams[0] = depth;

在自定义的上下文中读取深度帧并渲染

你可以将下面的代码放置在渲染线程的循环中，比如通过glut窗口系统的glutDisplayFunc()注册的回调函数中

    int changedIndex;
    openni::Status rc = openni::OpenNI::waitForAnyStream(m_streams, 2, &changedIndex);
    openni::VideoFrameRef       depthFrame;
    m_streams[changedIndex]->readFrame(&depthFrame);
    /// 我们已经拿到了数据，现在可以用你想要的方式进行绘制了, 典型的绘制如下：将数据转为RGB纹理图片
    const openni::DepthPixel* pDepthRow = (const openni::DepthPixel*)depthFrame.getData();
    openni::RGB888Pixel* pTexRow = m_pTexMap + m_depthFrame.getCropOriginY() * m_nTexMapX;

    int rowSize = depthFrame.getStrideInBytes() / sizeof(openni::DepthPixel);

    for (int y = 0; y < depthFrame.getHeight(); ++y)
    {
        const openni::DepthPixel* pDepth = pDepthRow;
        openni::RGB888Pixel* pTex = pTexRow + depthFrame.getCropOriginX();

        for (int x = 0; x < depthFrame.getWidth(); ++x, ++pDepth, ++pTex)
        {
            if (*pDepth != 0)
            {
                char value = 255 - ((float)(*pDepth) / (float)256);       ///DepthPixel是两个字节的，需要将其压缩为1个字节；
       ///这种转换效果也许不是最好的，关于这可以查看OpenNI2的例子SimpleViewer
                pTex->r = value;
                pTex->g = value;
                pTex->b = 0;
                }
            }

            pDepthRow += rowSize;
            pTexRow += m_nTexMapX;
        }
    }     

当然,OpenNI2 也提供了将深度值转换为世界坐标系下的3维坐标的API：

void depthPixelToWorld3d(const openni::VideoStream& depthStream, int depthX, int depthY,openni::DepthPixel depthZ, float world3d[3])
{
    openni::CoordinateConverter::convertDepthToWorld(depthStream, depthX, depthY,depthZ, &world3d[0],
        &world3d[1], &world3d[2]);
}

    const openni::DepthPixel* pDepthRow = (const openni::DepthPixel*)depthFrame.getData();
    int depthYStart = depthFrame.getCropOriginY();
    int depthXStart = depthFrame.getCropOriginX();
    int rowSize = depthFrame.getStrideInBytes() / sizeof(openni::DepthPixel);   
    auto points= new float[depthFrame.getWidth()* depthFrame.getHeight()][3];
    int pointCounts = 0;
    for (int y = 0; y < depthFrame.getHeight(); ++y)
    {
        const openni::DepthPixel* pDepth = pDepthRow;

        for (int x = 0; x < depthFrame.getWidth(); ++x, ++pDepth)
        {
            if (*pDepth != 0)
            {
                depthPixelToWorld3d(depthStream, depthXStart + x,
                    depthYStart + y, *pDepth, points[pointCounts]);
                ++pointCounts;
            }
        }
        pDepthRow += rowSize;
    }

运行程序

用USB连接StructureSensor，并将OpenNI2/Redist目录下的所有文件和文件夹拷贝到应用程序的同一目录下，运行程序。如果程序不能找到设备，请抽出USB数据线并重新连接。

可能存在的问题

openni::CoordinateConverter::convertDepthToWorld（）所输出的世界坐标的XYZ分量的值并不是以毫米为单位

这是OpenNI2社区最近才修复的bug：
https://github.com/occipital/OpenNI2/commit/1fce8edffab43c4a4cf201cff86f415b07a2d37f
要想解决这个问题，只能自己编译OpenNI2。从https://github.com/occipital/OpenNI2下载最新的zip源码。无须下载该页面所指出的其他内容，直接运行源码包中的Visual Studio sln文件，生成其中的OpenNI工程，将生成的OpenNI2.dll拷贝到应用程序所在目录，替换旧的OpenNI2.dll

自己编译完整的OpenNI2安装包

如果需要生成完整的OpenNI2安装包，请使用Visual Studio 2010，并安装
WIX 3.5 http://wix.codeplex.com/releases/view/60102 。运行OpenNI.sln 并生成解决方案下的Install工程