FFmpeg + Opencv 解码和显示

原创 2015年07月07日 14:12:17



利用FFmpeg开源编解码库实现解码,转换为Mat格式后,使用Opencv显示










/**
* 抽取ffmpeg中的函数接口实现视频解码
* 再通过Opencv中的函数接口播放,同时开启两个视频进行操作
*/


#define __STDC_CONSTANT_MACROS
#include <stdio.h>
#include <Windows.h>
#include <process.h>

// Opencv
#include <opencv/cv.h>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>


extern "C"
{
#include "libavutil/avutil.h"
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
	//新版里的图像转换结构需要引入的头文件
#include "libswscale/swscale.h"
};


using namespace cv;

//char* filename = "cuc_ieschool.flv";
char* filename = "video0.avi";

DWORD WINAPI ffmpeg_decoder(LPVOID pM);


HANDLE g_semphore = {NULL};

cv::Mat pCvMat;
bool g_cvShow = true; //是否显示视频

int main()
{

	g_semphore = CreateSemaphore(NULL, 0, 1, NULL);
	HANDLE handle_video = CreateThread(NULL, 0, ffmpeg_decoder, (LPVOID)filename, 0, NULL);

	//////////////////////////////////////////////////////////////////////////
#if 1
	cv::Mat pCvMatCopy = pCvMat;
	namedWindow("cvRGB", 1);
	int i = 0;
	while (g_cvShow)
	{
		cv::imshow("cvRGB", pCvMatCopy);
		printf("%d",i);
		++i;
	}
	cvDestroyWindow("cvRGB");
#endif
	/////////////////////////////////////////////////////////////////////////

	WaitForSingleObject(g_semphore, INFINITE);

	CloseHandle(g_semphore);
	CloseHandle(handle_video);

	getchar();
	return 0;
}

//ffmpeg解码
DWORD WINAPI ffmpeg_decoder(LPVOID pM)
{
	AVCodec *pCodec; //解码器指针
	AVCodecContext* pCodecCtx; //ffmpeg解码类的类成员
	AVFrame* pAvFrame; //多媒体帧,保存解码后的数据帧
	AVFormatContext* pFormatCtx; //保存视频流的信息

	av_register_all(); //注册库中所有可用的文件格式和编码器

	pFormatCtx = avformat_alloc_context();

	char *filename = (char *)pM;//convert value type
	if (avformat_open_input(&pFormatCtx, filename, NULL, NULL) != 0) { //检查文件头部
		printf("Can't find the stream!\n");
	}
	if (av_find_stream_info(pFormatCtx) < 0) { //查找流信息
		printf("Can't find the stream information !\n");
	}

	int videoindex = -1;
	for (int i=0; i < pFormatCtx->nb_streams; ++i) //遍历各个流,找到第一个视频流,并记录该流的编码信息
	{
		if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
			videoindex = i;
			break;
		}
	}
	if (videoindex == -1) {
		printf("Don't find a video stream !\n");
		return -1;
	}
	pCodecCtx = pFormatCtx->streams[videoindex]->codec; //得到一个指向视频流的上下文指针
	pCodec = avcodec_find_decoder(pCodecCtx->codec_id); //到该格式的解码器
	if (pCodec == NULL) {
		printf("Cant't find the decoder !\n"); //寻找解码器
		return -1;
	}
	if (avcodec_open2(pCodecCtx,pCodec,NULL) < 0) { //打开解码器
		printf("Can't open the decoder !\n");
		return -1;
	}

	pAvFrame = avcodec_alloc_frame(); //分配帧存储空间
	AVFrame* pFrameBGR = avcodec_alloc_frame(); //存储解码后转换的RGB数据


	// 保存BGR,opencv中是按BGR来保存的
	int size = avpicture_get_size(AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height);
	uint8_t *out_buffer = (uint8_t *)av_malloc(size);
	avpicture_fill((AVPicture *)pFrameBGR, out_buffer, AV_PIX_FMT_BGR24, pCodecCtx->width, pCodecCtx->height); // allocator memory for BGR buffer


	AVPacket* packet = (AVPacket*)malloc(sizeof(AVPacket)); //output the video info
	printf("-----------输出文件信息---------\n");
	av_dump_format(pFormatCtx, 0, filename, 0);
	printf("------------------------------");

	struct SwsContext *img_convert_ctx;
	img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL); 

	//opencv,声明Mat对象,作为局部变量
	//cv::Mat pCvMat;
	pCvMat.create(cv::Size(pCodecCtx->width, pCodecCtx->height), CV_8UC3);

	int ret;
	int got_picture;

//	cvNamedWindow("RGB", 1);
	for (;;)
	{
		if(av_read_frame(pFormatCtx, packet)>=0)
		{
			if(packet->stream_index==videoindex)
			{
				ret = avcodec_decode_video2(pCodecCtx, pAvFrame, &got_picture, packet);
				if(ret < 0)
				{
					printf("Decode Error.(解码错误)\n");
					return -1;
				}
				if (got_picture)
				{
					//YUV to RGB
					sws_scale(img_convert_ctx, (const uint8_t* const*)pAvFrame->data, pAvFrame->linesize, 0, pCodecCtx->height, pFrameBGR->data, pFrameBGR->linesize);//convert yuv to BGR24

					memcpy(pCvMat.data, out_buffer, size);
//					imshow("RGB", pCvMat);
//					waitKey(1);
				}
			}
			av_free_packet(packet);
		}
		else 
		{
			break;
		}
	}
	g_cvShow = false;
	av_free(out_buffer);
	av_free(pFrameBGR);
	av_free(pAvFrame);
	avcodec_close(pCodecCtx);
	avformat_close_input(&pFormatCtx);

	sws_freeContext(img_convert_ctx);
//	cvDestroyWindow("RGB");

	ReleaseSemaphore(g_semphore, 1, NULL);
}
















相关文章推荐

利用ffmpeg和opencv进行视频的解码播放

OpenCV中有自己的用于处理图片和视频的类,可以很方便的读入文件和显示。 现在视频数据流是ffmpeg解码h264文件得到的,由于要依赖该数据源进行相应的后续处理,所以需要将ffmpeg中得到的数据...

【Opencv】通过CMake编译Opencv,开启ippicv、tbb、ffmpeg功能

转载标明出处即可~下载的编译好的Opencv代码一般不开启如题的功能。而Ipp tbb可以用来优化性能,ffmpeg方便视频采集等。所以有必要重新编译一版附带上面功能的Opencv库。下载地址CMak...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

ffmpeg+OpenCV Linux下安装和配置

前不久安装好了OpenCV,昨晚测试一个avi视频处理的时候,cvCreateFileCapture总是返回NULL,我怀疑是ffmpeg没有配置好。今天就把OpenCV和ffmpeg都删除了,重新安...

利用ffmpeg+opencv实现画中画

需求:把两路视频合成一路,即一个画面同时显示两路视频,其中一路缩小成小视频叠在大视频上面,和电视机的画中画效果类似。 思路:用h264编码的视频举例,文件中存储的es流是h264,经过解码成yuv,...

FFmpeg+OpenCV Linux下安装和配置

FFmpeg+OpenCV Linux下安装和配置 前不久安装好了OpenCV,昨晚测试一个avi视频处理的时候,cvCreateFileCapture总是返回NULL,我怀疑是ffmpeg没有...

【OpenCV】编译OpenCV时,FFmpeg或ippicv下载不成功的解决方案

在自己编译OpenCV时,因为种种原因可能会导致FFmpeg或ippicv下载不成功的问题,可以通过手动配置来解决这类问题,当然也可以直接配置之后再编译。在进行配置之前,首先前往GitHub下载相应的...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

利用ffmpeg+opencv实现画中画

需求:把两路视频合成一路,即一个画面同时显示两路视频,其中一路缩小成小视频叠在大视频上面,和电视机的画中画效果类似。 思路:用h264编码的视频举例,文件中存储的es流是h264,经过解码成yu...
  • wishfly
  • wishfly
  • 2016年08月15日 11:04
  • 1416

OpenCV利用GPU解码高清视频

问题描述:项目中,需要对高清监控视频分析处理,经测试,其解码过程所占CPU资源较多,导致整个系统处理效率不高,解码成为系统的瓶颈。 解决思路: 利用GPU解码高清视频,降低解码所占用CPU资源,加...
  • coloriy
  • coloriy
  • 2015年08月24日 10:34
  • 2620
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:FFmpeg + Opencv 解码和显示
举报原因:
原因补充:

(最多只允许输入30个字)