【第21期】观点:人工智能到底用 GPU?还是用 FPGA?

Kinect深度图像采集和Opencv差帧法运动目标检测

原创 2016年05月30日 23:10:28

环境配置:

1. 添加现有属性列表(opencv300.props)

2.1. VC++目录:包含目录添加C:\Program Files\Microsoft SDKs\Kinect\v1.8\inc;库目录添加C:\Program Files\Microsoft SDKs\Kinect\v1.8\lib\x86

2.2. 链接器-输入-附加依赖项添加Kinect10.lib


Kinect彩色和深度图像数据,以数据流的方式逐帧流出,获取数据流的两种方式:

1. 查询方式:不停的问摄像头拿数据,通过while循环不断催促,拿到数据就跑。

2. 事件方式:有新数据后,唤醒,再拿走数据。等新数据的过程叫一个事件,系统通过一个事件的句柄来标示。

Ref : http://blog.csdn.net/zouxy09/article/details/8146719

#include <windows.h>  
#include <iostream>   
#include <NuiApi.h>  
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

class FrameSubtractionKinect
{
public:
	void ImageOperation(Mat& depthimage, Mat& frame_0, int& num, int& steadyCount);
};

int main(int argc, char*argv[])//int类型的argc,用来统计程序运行时发送给main函数的命令行参数的个数。
                               //char*类型的argv[],为字符串数组,用来存放指向的字符串参数的指针数组,每一个元素指向一个参数。
{
	Mat image, frame_0;
	int num = 1;
	int steadyCount = 0;
	FrameSubtractionKinect detect;

	image.create(240, 320, CV_8UC1);//灰度图表示深度图像

	//1.初始化NUI,传入Depth
	HRESULT hr = NuiInitialize(NUI_INITIALIZE_FLAG_USES_DEPTH);
	if (FAILED(hr))
	{
		cout << "NuiInitialize failed" << endl;
		return hr;
	}

	//2.定义事件句柄
	HANDLE nextColorFrameEvent = CreateEvent(NULL,TRUE,FALSE,NULL);
	HANDLE depthStreamHandle = NULL;

	//3.打开KINECT设备的深度图信息通道,用depthStreamHandle保存该流的句柄
	hr = NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH, NUI_IMAGE_RESOLUTION_320x240, 0, 2, nextColorFrameEvent, &depthStreamHandle);
	if (FAILED(hr))
	{
		cout << "Could not open color image stream video" << endl;
		NuiShutdown();
		return hr;
	}
	namedWindow("depthImage", CV_WINDOW_AUTOSIZE);

	//4.开始读取深度数据
	while (1)
	{
		const NUI_IMAGE_FRAME *pImageFrame = NULL;

		//4.1.无限等待新的数据,等到后返回
		if (WaitForSingleObject(nextColorFrameEvent, INFINITE) == 0)
		{
			//4.2.从刚才打开数据流的流句柄中得到该帧数据,读取到的数据地址存到pImageFrame
			hr = NuiImageStreamGetNextFrame(depthStreamHandle, 0, &pImageFrame);
			if (FAILED(hr))
			{
				cout << "Could not get depth image" << endl;
				NuiShutdown();
				return -1;
			}

			INuiFrameTexture *pTexture = pImageFrame->pFrameTexture;
			NUI_LOCKED_RECT LockedRect;

			//4.3.提取数据帧到LockedRect,包括两个数据对象(pitch每行字节数,pBits第一个字节地址)
			pTexture->LockRect(0,&LockedRect,NULL,0);  //锁定数据,读数据时,Kinect就不会去修改
			
			//4.4.确定获得的数据是否有效
			if (LockedRect.Pitch != 0)
			{
				//4.5.将数据转换为OpenCV的Mat格式
				//每个深度数据是2个字节,pitch以字节为单位的,地址的偏移是按LockedRect.pBits的地址类型偏移
				
				for (int i = 0; i < image.rows; i++)
				{
					uchar *ptr = image.ptr<uchar>(i);     //第i行的指针

					uchar *pBufferRun = (uchar*)(LockedRect.pBits) + i*LockedRect.Pitch;
					USHORT *pBuffer = (USHORT*)pBufferRun;

					for (int j = 0; j < image.cols; j++)
					{
						ptr[j] = 255 - (uchar)(256 * pBuffer[j] / 0x0fff);   //直接将数据归一化
					}
				}
				imshow("depthImage", image);

				detect.ImageOperation(image, frame_0, num, steadyCount);
			}
			else
			{
				cout << "Buffer length of received texture is bogus" << endl;
			}

			//5.处理完解锁
			pTexture->UnlockRect(0);
			//6.释放本帧数据
			NuiImageStreamReleaseFrame(depthStreamHandle,pImageFrame);
		}
		if (cvWaitKey(20) == 27)
			break;
	}
	//Nui关闭
	NuiShutdown();
	return 0;
}

//二差帧法检测运动目标
void FrameSubtractionKinect::ImageOperation(Mat& depthimage, Mat& frame_0, int& num, int& steadyCount)
{
	Mat erodeimage;
	Mat background, foreground, foreground_BW;

	if (num == 1)
	{
		background = depthimage.clone();
		frame_0 = background;
	}
	else
	{
		background = frame_0;
		frame_0 = depthimage.clone();
	}

	absdiff(depthimage, background, foreground);
	erode(foreground, erodeimage, getStructuringElement(MORPH_RECT, Size(7, 7)));
	threshold(erodeimage, foreground_BW, 15, 255, 0);

	//imshow("foreground", foreground);
	//imshow("ErodeImage", erodeimage);
	imshow("foreground_BW", foreground_BW);

	num++;
	if (num > 2000000000) num = 10;
}

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

运动目标检测、去阴影、跟踪、行为识别相关视频

研究生的毕业设计做的是运动目标的检测,跟踪,阴影去除,行为分析等方面的课题,可是这方面的视频从哪里来呢? 网上是有很多的: 运动目标检测方面的:http://www.research.ibm.com/peoplevision/performanceevaluation.html 大家经常使用的PetsD2TeC1之类的视频就出自这里。4个室外的视频中,有两个视频的运动目标会被一棵

【Kinect】5th-Kinect深度图像采集和Opencv差帧法运动目标检测

Kinect深度图像采集和Opencv差帧法运动目标检测#include #include #include #include using namespace std; using...

OpenCV学习笔记(二十八)——光流法对运动目标跟踪Video

OpenCV配套的教程Tutorials对于Video的部分,没有实例进行说明,我只能摸石头过河啦,之前试过一个camShift做目标检测,这次试一试光流法做运动估计。这里使用的光流法是比较常用的Lucas-Kanade方法。对于光流法的原理,我就不过多介绍了,主要讲使用OpenCV如何实现。 首先利用goodFeaturesToTrack函数得到图像中的强边界作为跟踪的特征点,接下来要调用calcOpticalFlowPyrLK</spa

Opencv之二帧差法运动目标检测与轮廓提取

Opencv学习之——二帧差法运动目标检测与轮廓提取 这是我的第一篇CSDN博文。 代码是从网上摘抄学习的,加了好多注释,感觉就像边看书边做笔记一样,给人以满足的享受。Let’s do this!

运动目标检测__光流法

以下内容摘自一篇硕士论文《视频序列中运动目标检测与跟踪算法的研究》: 1950年Gibson首先提出了光流的概念,光流(optical flow)法是空间运动物体在观测成像面上的像素
  • jgsj
  • jgsj
  • 2012-07-06 11:40
  • 127

OpenCV运动目标检测——帧间差,混合高斯模型方法

一、简单的帧间差方法 帧差法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且闽值化来提取图像中的运动区域。 代码: int _tmain(int argc, _TCHAR* argv...

Kinect开发教程二:OpenNI读取深度图像与彩色图像并显示

      细心的朋友肯定已经发现Kinect上长了三只眼睛,其中一个是彩色摄像头,另外两个深度摄像头,一个负责发射红外光,一个负责接收,这样,我们便能通过Kinect得到一幅彩色图像和一幅深度图像。如果大家对Kniect眼睛的技术细节感兴趣,请点击这里 。

C++利用帧差法背景差分实现运动目标检测(opencv)

帧差法、光流法、背景减除法 运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下,目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域,因此运...

运动目标跟踪与检测的源代码(CAMSHIFT 算法)

采用 CAMSHIFT 算法快速跟踪和检测运动目标的 C/C++ 源代码,OPENCV BETA 4.0 版本在其 SAMPLE 中给出了这个例子。算法的简单描述如下(英文): This application demonstrates a fast, simple color tracking algorithm that can be used to track faces, hands . The CAMSHIFT algorithm is a modification of the Meanshift algorithm which is a robust sta

OpenCv_光流法运动目标检测

以下内容摘自一篇硕士论文《视频序列中运动目标检测与跟踪算法的研究》:1950年Gibson首先提出了光流的概念,光流(optical flow)法是空间运动物体在观测成像面上的像素运动的瞬时速度。物体...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)