ffmpeg解码+opencv显示+时间测试

原创 2015年07月09日 13:34:10




/**
* 抽取ffmpeg中的函数接口实现视频解码,再通过Opencv中的函数接口播放
*/

#define _CRTDBG_MAP_ALLOC
#include <crtdbg.h>

#define __STDC_CONSTANT_MACROS
#include <stdio.h>
#include <Windows.h>
#include <process.h>

// Opencv
#include <opencv/cv.h>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>

#include "QueryPerformance.h"

extern "C"
{
#include "libavutil/avutil.h"
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
	//新版里的图像转换结构需要引入的头文件
#include "libswscale/swscale.h"
};




using namespace cv;

char filename[] = "cuc_ieschool.avi";


int main()
{
	AVCodec *pCodec; //解码器指针
	AVCodecContext* pCodecCtx; //ffmpeg解码类的类成员
	AVFrame* pAvFrame; //多媒体帧,保存解码后的数据帧
	AVFormatContext* pFormatCtx; //保存视频流的信息

	av_register_all(); //注册库中所有可用的文件格式和编码器

	pFormatCtx = avformat_alloc_context();
	if (avformat_open_input(&pFormatCtx, filename, NULL, NULL) != 0) { //检查文件头部
		printf("Can't find the stream!\n");
	}
	if (av_find_stream_info(pFormatCtx) < 0) { //查找流信息
		printf("Can't find the stream information !\n");
	}

	int videoindex = -1;
	for (int i=0; i < pFormatCtx->nb_streams; ++i) //遍历各个流,找到第一个视频流,并记录该流的编码信息
	{
		if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
			videoindex = i;
			break;
		}
	}
	if (videoindex == -1) {
		printf("Don't find a video stream !\n");
		return -1;
	}
	pCodecCtx = pFormatCtx->streams[videoindex]->codec; //得到一个指向视频流的上下文指针
	pCodec = avcodec_find_decoder(pCodecCtx->codec_id); //到该格式的解码器
		if (pCodec == NULL) {
			printf("Cant't find the decoder !\n"); //寻找解码器
			return -1;
		}
		if (avcodec_open2(pCodecCtx,pCodec,NULL) < 0) { //打开解码器
			printf("Can't open the decoder !\n");
			return -1;
		}

		pAvFrame = avcodec_alloc_frame(); //分配帧存储空间
		AVFrame* pFrameBGR = avcodec_alloc_frame(); //存储解码后转换的RGB数据



		// 保存BGR,opencv中是按BGR来保存的
		int size = avpicture_get_size(AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height);
		uint8_t *out_buffer = (uint8_t *)av_malloc(size);
		avpicture_fill((AVPicture *)pFrameBGR, out_buffer, AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height);


		AVPacket* packet = (AVPacket*)malloc(sizeof(AVPacket));
		printf("-----------输出文件信息---------\n");
		av_dump_format(pFormatCtx, 0, filename, 0);
		printf("------------------------------");

		struct SwsContext *img_convert_ctx;
		img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL); 

		//opencv
		cv::Mat pCvMat;
		pCvMat.create(cv::Size(pCodecCtx->width, pCodecCtx->height), CV_8UC3);

		int ret;
		int got_picture;

		cvNamedWindow("RGB", 1);
		CStopwatch stopwatchqq;
		int frame_counter = 0; //解码的帧数
		for (;;)
		{
			if(av_read_frame(pFormatCtx, packet)>=0)
			{
				if(packet->stream_index==videoindex)
				{
					//计时
					CStopwatch stopwatch;

					ret = avcodec_decode_video2(pCodecCtx, pAvFrame, &got_picture, packet);

					__int64 qwElapsedTime = stopwatch.Now(); // 单位为:毫秒(ms)
					printf("解码单帧的时间为:%d (ms)\n", qwElapsedTime);

					if(ret < 0)
					{
						printf("Decode Error.(解码错误)\n");
						return -1;
					}
					if (got_picture)
					{
						frame_counter++;
						//YUV to RGB
						sws_scale(img_convert_ctx, (const uint8_t* const*)pAvFrame->data, pAvFrame->linesize, 0, pCodecCtx->height, pFrameBGR->data, pFrameBGR->linesize);

						memcpy(pCvMat.data, out_buffer, size);
					    imshow("RGB", pCvMat);
					    waitKey(1);
					}
				}
				av_free_packet(packet);
			}
			else 
			{
				break;
			}
		}

		__int64 qwElapsedTimeqq = stopwatchqq.Now(); // 单位为:毫秒(ms)
		printf("\n总解码时间为:%d(ms)\n", qwElapsedTimeqq);
		printf("总视频帧数为:%d\n", frame_counter);

		av_free(out_buffer);
		av_free(pFrameBGR);
		av_free(pAvFrame);
		avcodec_close(pCodecCtx);
		avformat_close_input(&pFormatCtx);

		sws_freeContext(img_convert_ctx);
		cvDestroyWindow("RGB");

		system("pause");
		_CrtDumpMemoryLeaks();

		return 0;
}








// 添加png图片保存





/**
* 抽取ffmpeg中的函数接口实现视频解码,再通过Opencv中的函数接口播放
*/

#define _CRTDBG_MAP_ALLOC
#include <crtdbg.h>

#define __STDC_CONSTANT_MACROS
#include <stdio.h>
#include <Windows.h>
#include <process.h>

// Opencv
#include <opencv/cv.h>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>

#include "QueryPerformance.h"

extern "C"
{
#include "libavutil/avutil.h"
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
	//新版里的图像转换结构需要引入的头文件
#include "libswscale/swscale.h"
};




using namespace cv;

char filename[] = "cuc_ieschool.avi";


int main()
{
	AVCodec *pCodec; //解码器指针
	AVCodecContext* pCodecCtx; //ffmpeg解码类的类成员
	AVFrame* pAvFrame; //多媒体帧,保存解码后的数据帧
	AVFormatContext* pFormatCtx; //保存视频流的信息

	av_register_all(); //注册库中所有可用的文件格式和编码器

	pFormatCtx = avformat_alloc_context();
	if (avformat_open_input(&pFormatCtx, filename, NULL, NULL) != 0) { //检查文件头部
		printf("Can't find the stream!\n");
	}
	if (av_find_stream_info(pFormatCtx) < 0) { //查找流信息
		printf("Can't find the stream information !\n");
	}

	int videoindex = -1;
	for (int i=0; i < pFormatCtx->nb_streams; ++i) //遍历各个流,找到第一个视频流,并记录该流的编码信息
	{
		if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
			videoindex = i;
			break;
		}
	}
	if (videoindex == -1) {
		printf("Don't find a video stream !\n");
		return -1;
	}
	pCodecCtx = pFormatCtx->streams[videoindex]->codec; //得到一个指向视频流的上下文指针
	pCodec = avcodec_find_decoder(pCodecCtx->codec_id); //到该格式的解码器
		if (pCodec == NULL) {
			printf("Cant't find the decoder !\n"); //寻找解码器
			return -1;
		}
		if (avcodec_open2(pCodecCtx,pCodec,NULL) < 0) { //打开解码器
			printf("Can't open the decoder !\n");
			return -1;
		}

		pAvFrame = avcodec_alloc_frame(); //分配帧存储空间
		AVFrame* pFrameBGR = avcodec_alloc_frame(); //存储解码后转换的RGB数据



		// 保存BGR,opencv中是按BGR来保存的
		int size = avpicture_get_size(AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height);
		uint8_t *out_buffer = (uint8_t *)av_malloc(size);
		avpicture_fill((AVPicture *)pFrameBGR, out_buffer, AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height);


		AVPacket* packet = (AVPacket*)malloc(sizeof(AVPacket));
		printf("-----------输出文件信息---------\n");
		av_dump_format(pFormatCtx, 0, filename, 0);
		printf("------------------------------");

		struct SwsContext *img_convert_ctx;
		img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL); 

		//opencv
		cv::Mat pCvMat;
		pCvMat.create(cv::Size(pCodecCtx->width, pCodecCtx->height), CV_8UC3);

		int ret;
		int got_picture;

		cvNamedWindow("RGB", 1);
		CStopwatch stopwatchqq;
		int frame_counter = 0; //解码的帧序号
		char buffer[50]; 
		for (;;)
		{
			if(av_read_frame(pFormatCtx, packet)>=0)
			{
				if(packet->stream_index==videoindex)
				{
					//计时
					CStopwatch stopwatch;

					ret = avcodec_decode_video2(pCodecCtx, pAvFrame, &got_picture, packet);

					__int64 qwElapsedTime = stopwatch.Now(); // 单位为:毫秒(ms)
//					printf("解码单帧的时间为:%d (ms)\n", qwElapsedTime);

					if(ret < 0)
					{
						printf("Decode Error.(解码错误)\n");
						return -1;
					}
					if (got_picture)
					{
						frame_counter++;
						sprintf(buffer, "./pic/%d.png", frame_counter);
						//YUV to RGB
						sws_scale(img_convert_ctx, (const uint8_t* const*)pAvFrame->data, pAvFrame->linesize, 0, pCodecCtx->height, pFrameBGR->data, pFrameBGR->linesize);

						memcpy(pCvMat.data, out_buffer, size);
					    imshow("RGB", pCvMat);
//						printf("pCvMat= %p\n", &pCvMat);
						imwrite(buffer, pCvMat);//将视频帧保存为png图片
					    waitKey(1);
					}
				}
				av_free_packet(packet);
			}
			else 
			{
				break;
			}
		}

		__int64 qwElapsedTimeqq = stopwatchqq.Now(); // 单位为:毫秒(ms)
		printf("\n总解码时间为:%d(ms)\n", qwElapsedTimeqq);
		printf("总视频帧数为:%d\n", frame_counter);

		av_free(out_buffer);
		av_free(pFrameBGR);
		av_free(pAvFrame);
		avcodec_close(pCodecCtx);
		avformat_close_input(&pFormatCtx);

		sws_freeContext(img_convert_ctx);
		cvDestroyWindow("RGB");

		system("pause");
		_CrtDumpMemoryLeaks();

		return 0;
}








Opencv3.2各个模块功能详细简介(包括与Opencv2.4的区别)

Opencv3.2各个模块详细介绍以及与Opencv2.4的对比
  • zmdsjtu
  • zmdsjtu
  • 2017年02月08日 17:17
  • 20631

利用ffmpeg和opencv进行视频的解码播放

 引子 OpenCV中有自己的用于处理图片和视频的类VideoCapture,可以很方便的读入文件和显示。现在视频数据流是ffmpeg解码h264文件得到的,由于要依赖该数据源进行相应的后续处...
  • zxh2075
  • zxh2075
  • 2016年07月19日 17:22
  • 2894

ffmpeg解码数据转为Mat通过opencv函数显示

/** * 抽取ffmpeg中的函数接口实现视频解码,再通过Opencv中的函数接口播放 */ #define __STDC_CONSTANT_MACROS #include // Opencv...
  • tkp2014
  • tkp2014
  • 2015年06月26日 16:39
  • 2770

ffmpeg的转码延时测试与设置优化

分类: 云计算 我测试了下ffmpeg直播流的转码延时,这些参数对文件的转码也是通用的; 测试环境:  . ffmpeg 版本为v3.0.2  . 从同一台服务器拉流,转码再推...
  • zhangjiarui130
  • zhangjiarui130
  • 2016年10月09日 14:30
  • 1232

FFmpeg 学习之 解码并 MFC+OpenCV 显示

众所周知,Opencv 在图像处理方面具有无与伦比的优势,但其在视频解码这块实在不敢恭维,智能识别 AVI 封装和少数几种 编码格式。 其实 OpenCV 解码也是引用的 FFmpeg,不过编译时估...
  • u010477528
  • u010477528
  • 2014年12月05日 13:27
  • 1596

android jni中将大数据回调到java层的时候用法,比如视频流,音频流等,图片流等 比如我用ffmpeg解码好视频流,想送到java层使用opengGL进行显示,opencv进行人脸识别等等

android jni中将大数据回调到java层的时候用法,比如视频流,音频流等,图片流等 比如我用ffmpeg解码好视频流,想送到java层使用opengGL进行显示,opencv进行人脸识别等等j...
  • tpyangqingyuan
  • tpyangqingyuan
  • 2017年11月14日 18:10
  • 342

FFmpeg解码封装为类以及Opencv显示播放

// 解码函数接口头文件 //#ifndef __FFMPEG_DECODE_H__ //#define __FFMPEG_DECODE_H__ // Opencv #include #in...
  • tkp2014
  • tkp2014
  • 2015年08月02日 10:58
  • 444

FFmpeg解码-Opencv数据显示-双线程调度

大致想法是:使用ffmpeg实现解码,解码后的数据转化为 Mat,调用 opencv中的函数显示,同时开启两个线程解码显示两路视频 /** * 抽取ffmpeg中的函数接口实现视频解码,再...
  • tkp2014
  • tkp2014
  • 2015年06月26日 18:11
  • 505

【计算机视觉】OpenCV读取视频获取时间戳等信息(PS:经测试并不是时间戳,与FFMPEG时间戳不一样)

OpenCV中通过VideoCaptrue类对视频进行读取操作以及调用摄像头,下面是该类的API。 1.VideoCapture类的构造函数: C++: VideoCapture::VideoCap...
  • LG1259156776
  • LG1259156776
  • 2017年01月23日 08:46
  • 2475

ffmpeg和Opencv结合进行视频解码播放

引子 OpenCV中有自己的用于处理图片和视频的类VideoCapture,可以很方便的读入文件和显示。 现在视频数据流是ffmpeg解码h264文件得到的,由于要依赖该数据源进行相应的后续处...
  • tkp2014
  • tkp2014
  • 2015年06月25日 21:43
  • 1237
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ffmpeg解码+opencv显示+时间测试
举报原因:
原因补充:

(最多只允许输入30个字)