学习OpenCV(三十一) -- 视频处理

视频处理用到的函数：

CvCapture

视频获取结构

typedef struct CvCapture CvCapture;

结构CvCapture 没有公共接口，它只能被用来作为视频获取函数的一个参数。

cvCreateFileCapture

初始化从文件中获取视频

CvCapture* cvCreateFileCapture( const char* filename );

filename 

视频文件名。

函数cvCreateFileCapture给指定文件中的视频流分配和初始化CvCapture结构。

当分配的结构不再使用的时候，它应该使用cvReleaseCapture函数释放掉。

cvCreateCameraCapture

初始化从摄像头中获取视频

CvCapture* cvCreateCameraCapture( int index );

index 

要使用的摄像头索引。如果只有一个摄像头或者用哪个摄像头也无所谓，那使用参数-1应该便可以。

函数cvCreateCameraCapture给从摄像头的视频流分配和初始化CvCapture结构。目前在Windows下可使用两种接口：Video for Windows（VFW）和Matrox Imaging Library（MIL）； Linux下也有两种接口：V4L和FireWire（IEEE1394）。

释放这个结构，使用函数cvReleaseCapture。

cvReleaseCapture

释放CvCapture结构

void cvReleaseCapture( CvCapture** capture );

capture 

视频获取结构指针。

函数cvReleaseCapture释放由函数cvCreateFileCapture或者cvCreateCameraCapture分配的CvCapture结构。

注:若从capture中使用cvQueryFrame获取图像指针，在releaseCapture的时候同时函数释放图像指针，用户不用再自己释放。

读视频：

cvGrabFrame

从摄像头或者视频文件中抓取帧

int cvGrabFrame( CvCapture* capture );

capture 

视频获取结构。

函数cvGrabFrame从摄像头或者文件中抓取帧。被抓取的帧在内部被存储。这个函数的目的是快速的抓取帧，这一点对同时从几个摄像头读取数据的同步是很重要的。被抓取的帧可能是压缩的格式（由摄像头／驱动定义），所以没有被公开出来。如果要取回获取的帧，请使用cvRetrieveFrame。

cvRetrieveFrame

取回由函数cvGrabFrame抓取的图像

IplImage* cvRetrieveFrame( CvCapture* capture );

capture 

视频获取结构。

函数cvRetrieveFrame返回由函数cvGrabFrame 抓取的图像的指针。返回的图像不可以被用户释放或者修改。

cvQueryFrame

从摄像头或者文件中抓取并返回一帧

IplImage* cvQueryFrame( CvCapture* capture );

capture 

视频获取结构。

函数cvQueryFrame从摄像头或者文件中抓取一帧，然后解压并返回这一帧。这个函数仅仅是函数cvGrabFrame和函数cvRetrieveFrame在一起调用的组合。返回的图像不可以被用户释放或者修改。 抓取后，capture被指向下一帧，可用cvSetCaptureProperty调整capture到合适的帧。

注意： cvQueryFrame返回的指针总是指向同一块内存。建议cvQueryFrame后拷贝一份。而且返回的帧需要FLIP后才符合OPENCV的坐标系。 若返回值为NULL，说明到了视频的最后一帧。

查询和设置视频的属性：

cvGetCaptureProperty

获得视频获取结构的属性

double cvGetCaptureProperty( CvCapture* capture, int property_id );

capture 

视频获取结构。

property_id 

属性标识。可以是下面之一：

CV_CAP_PROP_POS_MSEC - 影片目前位置，为毫秒数或者视频获取时间戳

CV_CAP_PROP_POS_FRAMES - 将被下一步解压／获取的帧索引，以0为起点

CV_CAP_PROP_POS_AVI_RATIO - 视频文件的相对位置（0 - 影片的开始，1 - 影片的结尾)

CV_CAP_PROP_FRAME_WIDTH - 视频流中的帧宽度

CV_CAP_PROP_FRAME_HEIGHT - 视频流中的帧高度

CV_CAP_PROP_FPS - 帧率

CV_CAP_PROP_FOURCC - 表示codec的四个字符

CV_CAP_PROP_FRAME_COUNT - 视频文件中帧的总数

函数cvGetCaptureProperty获得摄像头或者视频文件的指定属性。

译者注：有时候这个函数在cvQueryFrame被调用一次后，再调用cvGetCaptureProperty才会返回正确的数值。这是一个bug，建议在调用此函数前先调用cvQueryFrame。

cvSetCaptureProperty

设置视频获取属性

int cvSetCaptureProperty( CvCapture* capture, int property_id, double value );

capture 

视频获取结构。

property_id 

属性标识符。可以是下面之一：

CV_CAP_PROP_POS_MSEC - 从文件开始的位置，单位为毫秒

CV_CAP_PROP_POS_FRAMES - 单位为帧数的位置（只对视频文件有效）

CV_CAP_PROP_POS_AVI_RATIO - 视频文件的相对位置（0 - 影片的开始，1 - 影片的结尾)

CV_CAP_PROP_FRAME_WIDTH - 视频流的帧宽度（只对摄像头有效）

CV_CAP_PROP_FRAME_HEIGHT - 视频流的帧高度（只对摄像头有效）

CV_CAP_PROP_FPS - 帧率（只对摄像头有效）

CV_CAP_PROP_FOURCC - 表示codec的四个字符（只对摄像头有效）

value 

属性的值。

函数cvSetCaptureProperty设置指定视频获取的属性。目前这个函数对视频文件只支持： CV_CAP_PROP_POS_MSEC, CV_CAP_PROP_POS_FRAMES, CV_CAP_PROP_POS_AVI_RATIO

写视频:

cvCreateVideoWriter

创建视频文件写入器

typedef struct CvVideoWriter CvVideoWriter;
CvVideoWriter* cvCreateVideoWriter( const char* filename, int fourcc, double fps, CvSize frame_size, int is_color=1 );

filename 

输出视频文件名。

fourcc 

四个字符用来表示压缩帧的codec 例如，CV_FOURCC('P','I','M','1')是MPEG-1 codec， CV_FOURCC('M','J','P','G')是motion-jpeg codec等。 在Win32下，如果传入参数-1，可以从一个对话框中选择压缩方法和压缩参数。

fps 

被创建视频流的帧率。

frame_size 

视频流的大小。

is_color 

如果非零，编码器将希望得到彩色帧并进行编码；否则，是灰度帧（只有在Windows下支持这个标志）。

函数cvCreateVideoWriter创建视频写入器结构。

cvWriteFrame

写入一帧到一个视频文件中

int cvWriteFrame( CvVideoWriter* writer, const IplImage* image );

writer 

视频写入器结构。

image 

被写入的帧。

函数cvWriteFrame写入／附加到视频文件一帧。

返回：

成功返回1,不成功返回0。

cvReleaseVideoWriter

释放视频写入器

void cvReleaseVideoWriter( CvVideoWriter** writer );

writer 

指向视频写入器的指针。

函数cvReleaseVideoWriter结束视频文件的写入并且释放这个结构。

代码实现

1.播放一段视频

/*
视频处理
*/

#include"cv.h"
#include"highgui.h"
//播放一段视频
void main()
{
	cvNamedWindow("tree", CV_WINDOW_AUTOSIZE);
	IplImage* frame;
	CvCapture* capture = cvCreateFileCapture("tree.avi");
	while(1)
	{
		frame = cvQueryFrame(capture); //从文件中抓取或返回一帧
		if(!frame)
			break;
		cvShowImage("tree", frame);
		char c = cvWaitKey(33);
		if(c == 27)
			break;
	}

	cvReleaseCapture(&capture);
	cvDestroyWindow("tree");
}

这段视频来自：..\opencv\sources\samples\c中的一段视频。

2. 视频播放控制

加入滚动条到基本浏览窗口程序，

/*
视频控制
*/

#include "cv.h"
#include "highgui.h"

//通过添加一个全局变量表示滚动条的位置
//并添加一个回调函数更新变量以及重新设置视频读入的位置
int g_slider_position = 0; //在全局变量前面加g_
CvCapture* g_capture  = NULL;

//定义回调函数
//在滚动条拖动时调用，滚动条的位置会被作为一个32位的整数以参数形式传入
void onTrackbarSlide(int pos)
{
	cvSetCaptureProperty( //与cvGetCaptureProperty一起使用，可以设置（查询）CvCapture对象的各种属性
		g_capture,
		CV_CAP_PROP_POS_FRAMES, //以帧数设置读入位置
		pos
		);
}

//用opencv播放avi视频
int main()
{
	cvNamedWindow("tree",CV_WINDOW_AUTOSIZE); 
	// CvCapture这个结构体
	//CvCapture* capture= cvCreateFileCapture("start.avi"); //读入avi文件，返回一个指向CvCapture的指针 
	g_capture= cvCreateFileCapture("tree.avi");
	int frames = (int) cvGetCaptureProperty(
		g_capture,
		CV_CAP_PROP_FRAME_COUNT
		);
	if( frames!= 0)
	{
		cvCreateTrackbar(
			"Position",
			"tree",
			&g_slider_position,
			frames,
			onTrackbarSlide
			);
	}
	IplImage* frame;
	while(1){
		frame = cvQueryFrame(g_capture);//将下一帧视频文件载入内存
		if(!frame) break;
		cvShowImage("tree",frame);
		char c=cvWaitKey(33);
		if(c==27)break;  //ESC键的ASCII编码是27
	}
	cvReleaseCapture(&g_capture);//释放空间
	cvDestroyWindow("tree");
	return(0);
}

3.写入视频文件

一个完整的程序用来实现读入一个彩色视频文件并以灰度格式输出这个视频文件

/*
完整的视频程序
*/

#include "cv.h"
#include "highgui.h"

int main()
{
	CvCapture* capture = 0;
	capture = cvCreateFileCapture("tree.avi");
	if(!capture)
	{
		return -1;
	}
	IplImage* bgr_frame = cvQueryFrame(capture);
	double fps = cvGetCaptureProperty(
		capture,
		CV_CAP_PROP_FPS
		);
	CvSize size = cvSize(
		(int)cvGetCaptureProperty(capture, CV_CAP_PROP_FRAME_WIDTH),
		(int)cvGetCaptureProperty(capture, CV_CAP_PROP_FRAME_HEIGHT)
		);
	CvVideoWriter *writer = cvCreateVideoWriter(
		"tree1.avi",
		CV_FOURCC('M','J','P','G'),
		fps,
		size
		);
	IplImage* logpolar_frame = cvCreateImage(
		size,
		IPL_DEPTH_8U,
		3
		);
	cvNamedWindow("tree", CV_WINDOW_AUTOSIZE);
	while( (bgr_frame = cvQueryFrame(capture)) != NULL)
	{
		cvLogPolar(bgr_frame, logpolar_frame,
			cvPoint2D32f(bgr_frame->width/2, bgr_frame->height/2),
			40,
			CV_INTER_LINEAR + CV_WARP_FILL_OUTLIERS
			);
		cvWriteFrame(writer, logpolar_frame);
		cvShowImage("tree",logpolar_frame);
		char c = cvWaitKey(33);
		if(c==27) break;
	}
	cvReleaseVideoWriter(&writer);
	cvReleaseImage(&logpolar_frame);
	cvReleaseCapture(&capture);
	return(0);
}