FFMPEG播放视频及各个字段结构体介绍

最新推荐文章于 2024-06-18 17:28:50 发布

Stone_OverLooking

最新推荐文章于 2024-06-18 17:28:50 发布

阅读量556

点赞数

分类专栏：音视频 ffmpeg

本文链接：https://blog.csdn.net/Stone_OverLooking/article/details/108827740

版权

ffmpeg 同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

音视频

2 篇文章 0 订阅

订阅专栏

**参考雷神的FFMpeg相关资料，针对FFmpeg播放视频的学习进行记录**

*FFMpeg进行解码，测试文件.mp4，将数据解码为yuv并使用SDL2进行播放。

SDL2在win10上的编译，不多阐述，网上一大堆，编译需要DirectX，不然会提示头文件错误。*`

测试文件为MP4文件。

## FFMpeg解码视频帧的流程如下：

1.初始化，注册相关组件，申请空间。

AVFormatContext	 *pFormatCtx;	//用于维护一个输入流或输出流
AVCodecContext	 *pCodecCtx;	//用于将数据进行编解码，比如将yuv420p编码为h264数据，或者将
                                //aac数据解码为fltp格式数据，音视频编解码全靠这个类。
AVCodec	*pCodec;//编解码对象，通常通过avcodec_find_decoder,函数，传入编码ID获得
AVFrame	*pFrame;		//存放解码后的视频帧
AVFrame	*pFrameYUV; //用于储存音视频的一帧数据，可以储存视频图像的rgb或
                    //yuv像素格式数据，
AVPacket *packet;   //一个这个结构代表一个数据包，用于存储编码后的数据，比如
                    //h264 raw数据或aac raw数据

//注册所有组件
av_register_all();
//global initialization of network components
avformat_network_init();

//通过 avformat_alloc_output_context2 函数打开,由 avformat_close_input 函数释放
pFormatCtx = avformat_alloc_context();

//Allocate an AVFrame and set its fields to default values
//分配一个AVFrame 并填充默认值
pFrame = av_frame_alloc();
pFrameYUV = av_frame_alloc();

//申请AVPacket内存,这个结构代表一个数据包，用于存储编码后的数据
packet = (AVPacket *)av_malloc(sizeof(AVPacket));

2.打开一个输入流,打开输入视频文件

int ret = avformat_open_input(&pFormatCtx, path, NULL, NULL);

3.获取视频文件信息

//获取视频文件信息
int ret = avformat_find_stream_info(pFormatCtx, NULL);
if (ret < 0)
{
	AfxMessageBox(L"Couldn't find stream information.\n");
	return -1;
}

4.找到数据流中的视频流

//找到流中的视频流
videoindex = -1;
for (int i = 0; i < pFormatCtx->nb_streams; i++)
{
	ret = pFormatCtx->streams[i]->codec->codec_type;
	if (ret == AVMEDIA_TYPE_VIDEO)
	{
		videoindex = i;
		break;
	}
}

if (videoindex == -1)
{
	AfxMessageBox(L"Didn't find a video stream.\n");
	return -1;
}
//用于将数据进行编解码，
pCodecCtx = pFormatCtx->streams[videoindex]->codec;

5.查找视频流的编码方式，找到对应的解码方式。


//用于查找FFmpeg的解码器，与之对应的有个编码器 acodec_find_encoder	
pCodec = avcodec_find_decoder(pCodecCtx->codec_id);

if (pCodec == NULL)
{
	AfxMessageBox(L"Codec not found.\n");
	return -1;
}
//使用给定的AVCodec  pCodec 初始化AVCodecContext  pCodecCtx
//打开解码器
int ret = avcodec_open2(pCodecCtx, pCodec, NULL);
if (ret < 0)
{
	AfxMessageBox(L"Could not open codec.\n");
	return -1;
}

6.计算视频的宽高，计算返回一个结构体struct SwsContext。

//计算给定的图片的宽度、高度
size_t size = avpicture_get_size(PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);

//输出内容申请空间
out_buffer = (uint8_t *)av_malloc(size);

//根据指定的图像参数设置图片字段和提供的图像数据缓冲区
avpicture_fill((AVPicture *)pFrameYUV, out_buffer, PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);

//分配并返回一个SwsContext。你需要它来播放,使用sws_scale()进行缩放 / 转换操作
img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt,
pCodecCtx->width, pCodecCtx->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);

7.解码数据，使用sws_scale函数进行画面的转换和缩放。

while (true)
{
    //从输入文件读取一帧压缩数据
    ret = av_read_frame(pFormatCtx, packet);  //av_read_frame解码为h264
    if (ret >= 0)
    {
        if (packet->stream_index == videoindex)
        {
	    SaveAvFrame(packet); //保存h264

	    //解码一帧压缩数据
	    //got_picture_ptr如果没有可以解压缩的帧为零，否则为非零。
	    ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
	    if (ret < 0)
	    {
		AfxMessageBox(L"Decode Error.\n");
		ret = -1;
		break;					
	    }
	    if (got_picture)
	    {				
		//使用sws_scale()进行缩放 / 转换操作
		//解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。
		//但是这些像素值并不是连续存储的，每行有效像素之后存储了一些无效像素 。 
		//以亮度 Y 数据为例 ， data[0] 中一共包含了linesize[0] * height个数据。但是出于优化等方面的考虑，
		//linesize[0]实际上并不等于宽度width，而是一个比宽度大一些的值。因此需要使
		//用sws_scale()进行转换。转换后去除了无效数据，width和linesize[0]取值相等
		
		//这块计算出来的是YUV数据，直接可以播放
		sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize,0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);
		//保存YUV数据
		saveYUVFrameToFile(pFrameYUV);

		//解码出来的YUV数据帧放入一个队列。Queue		
		//mtx.lock();
		//v_queue.push(pFrameYUV);					
		//mtx.unlock();

		TRACE("Decode 1 frame\n");
	}
	//解码失败时  处理当解码函数成功，但got_picture为0时的问题，很大可能是被解码器缓存起来了 ret>=0 got_picture=0
	else  
	{
		skipped_frame++;
	}
}
//Free a packet.
    av_free_packet(packet);
}
}

解码后的数据为什么要经过sws_scale()函数处理？

解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。

但是这些像素值并不是连续存储的，每行有效像素之后存储了一些无效像素。

以亮度 Y 数据为例，data[0] 中一共包含了linesize[0]*height个数据。

但是出于优化等方面的考虑，linesize[0]实际上并不等于宽度width，而是一个比宽度大一些的值。

因此需要使用sws_scale()进行转换。转换后去除了无效数据，width和linesize[0]取值相等

8.释放内存。

此处添加了两个释放内存的，雷神的代码有内存泄漏。

sws_freeContext(img_convert_ctx);
av_frame_free(&pFrameYUV);
av_frame_free(&pFrame);
//关闭解码器
avcodec_close(pCodecCtx);
//关闭输入视频文件
avformat_close_input(&pFormatCtx);
av_freep(out_buffer);

大致流程如上所述。

## 再来说说关于SDL2播放视频的流程：

1.初始化SDL


int screen_w, screen_h;
SDL_Window		*screen;		//代表了一个“窗口”
SDL_Renderer	*sdlRenderer;			//代表了一个“渲染器”
SDL_Texture		*sdlTexture;		//代表了一个“纹理”
SDL_Rect		sdlRect;		//一个简单的矩形结构
SDL_Thread		*video_tid;		//线程的句柄
SDL_Event		event;			//代表一个事件


int ret = SDL_Init(SDL_INIT_VIDEO | SDL_INIT_TIMER);

2.创建SDL窗口SDL_CreateWindowFrom，参数传入窗口句柄

screen = SDL_CreateWindowFrom(data); //data为显示画面组件句柄
if (!screen)
{
	//AfxMessageBox("SDL: could not create window - exiting\n");
	return -1;
}
//SDL 2.0 Support for multiple windows 支持多窗口
//获得画面的宽高
screen_w = pCodecCtx->width;
screen_h = pCodecCtx->height;

3.创建SDL渲染器、纹理。


//创建一个渲染器
sdlRenderer = SDL_CreateRenderer(screen, -1, 0);
//IYUV: Y + U + V  (3 planes)
//YV12: Y + V + U  (3 planes)
//创建一个“纹理
sdlTexture = SDL_CreateTexture(sdlRenderer, SDL_PIXELFORMAT_IYUV, SDL_TEXTUREACCESS_STREAMING,
	pCodecCtx->width, pCodecCtx->height);
//设置Rect宽高
sdlRect.x = 0;
sdlRect.y = 0;
sdlRect.w = screen_w;
sdlRect.h = screen_h;

4.创建SDL线程事件触发器

//SDL事件刷新
int CFFMpegProDlg::sfp_refresh_thread(void *opaque)
{
	CFFMpegProDlg* p_this=(CFFMpegProDlg*) opaque;
	p_this->thread_exit = 0;
	p_this->thread_pause = 0;
	while (p_this->thread_exit == 0)
	{
		if (!p_this->thread_pause)
		{
			SDL_Event event;
			event.type = SFM_REFRESH_EVENT;
			SDL_PushEvent(&event);
		}
		SDL_Delay(40);
	}
	//Quit
	SDL_Event event;
	event.type = SFM_BREAK_EVENT;
	SDL_PushEvent(&event);
	p_this->thread_exit = 0;
	p_this->thread_pause = 0;
	return 0;
}

SDL_Thread* video_tid = SDL_CreateThread(sfp_refresh_thread, NULL, NULL);

5.拿到解码后的视频数据，渲染播放。

int ret = -1;
AVFrame *pFrameYUV = av_frame_alloc();
while (true)
{
	SDL_WaitEvent(&event);
	if (event.type == SFM_REFRESH_EVENT)
	{
	    //------------------------------
	    //从输入文件读取一帧压缩数据
	    ret = av_read_frame(pFormatCtx, packet);
	    if (ret >= 0)
	    {
	    	if (packet->stream_index == videoindex)
		{
		    //解码一帧压缩数据
	       	    //got_picture_ptr如果没有可以解压缩的帧为零，否则为非零。
		ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
		    if (ret < 0)
		    {
			//AfxMessageBox("Decode Error.\n");
			break;
		    }
		    if (got_picture)
		    {
		//使用sws_scale()进行缩放 / 转换操作
		//解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。
//但是这些像素值并不是连续存储的，每行有效像素之后存储了一些无效像素 。 
//以亮度 Y 数据为例 ， data[0] 中一共包含了linesize[0] * height个数据。但是出于优化等方面的考虑，//linesize[0]实际上并不等于宽度width，而是一个比宽度大一些的值。因此需要使
//用sws_scale()进行转换。转换后去除了无效数据，width和linesize[0]取值相等
		sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize,0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);
		//取到YUV数据pFrameYUV，进行转换后就可以直接播放。
		//SDL---------------------------
		//更新纹理
SDL_UpdateTexture(sdlTexture, NULL, pFrameYUV->data[0], pFrameYUV->linesize[0]);
		//清空渲染器
		SDL_RenderClear(sdlRenderer);
		//复制纹理到渲染器
            //SDL_RenderCopy( sdlRenderer, sdlTexture, &sdlRect, &sdlRect );  
	    SDL_RenderCopy(sdlRenderer, sdlTexture, NULL, NULL);
	    //更新屏幕
            SDL_RenderPresent(sdlRenderer);
	    //SDL End-----------------------
		TRACE("Decode 1 frame\n");
	}
	}
	//Free a packet.
	av_free_packet(packet);
	}
	else
	{
		//Exit Thread
		thread_exit = 1;
	}
}
else if (event.type == SDL_QUIT)
{
	thread_exit = 1;
}
else if (event.type == SFM_BREAK_EVENT)
{
	break;
}
}

6.释放内存。

SDL_DestroyWindow(screen);
SDL_Quit();

大致流程如上所述。

***注：如果要使用C++11 std特性，则需要删除FFMpeg的头文件中的 stdint.h文件，是直接删除。不然编译会报错。***

    ## FFmpeg一共包含8个库：
   avcodec：编解码（最重要的库）。
   avformat：封装格式处理。
   avfilter：滤镜特效处理。
   avdevice：各种设备的输入输出。
   avutil：工具库（大部分库都需要这个库的支持）。
   postproc：后加工。
   swresample：音频采样数据格式转换。
   swscale：   视频像素数据格式转换
## FFMPEG数据结构生命周期：
   1.AVCodec
       视频（音频）编解码器。
       编码对象，通常通过 avcodec_find_decoder 函数，传入编码ID获得，可以直接抛弃，不用关心泄露。
   2.AVFormatContext
       封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息。
       最重要的对象之一，用于维护一个输入流或输出流，通常通过 avformat_alloc_output_context2 函数打开，由 avformat_close_input 函数释放。对于文件对象，生命周期类似文件句柄；对于网络IO对象，生命周期类似C语言网络函数中的SOCKET句柄。
   3.AVStream
       视频文件中每个视频（音频）流对应一个该结构体。
       这个类的作用就是指定具体的流的类型，比如一个MP4文件有音视频数据，那么处理这个文件就由一个 AVFormatContext 对象来维护，可以通过这个对象访问两个 AVStream 对象，一个用于视频的处理（读或写），一个用于音频的处理（读或写）。
       在读流的情况下：使用 avformat_find_stream_info 找出所有流的信息同时打开所有流，生命周期此时将交于 AVFormatContext 对象托管，不用再关心泄露。
       在写流的情况下：使用 avformat_new_stream 创建新的流并关联至 AVFormatContext，生命周期此时将交于 AVFormatContext 对象托管，不用再关心泄露
   4.AVCodecContext
       编码器上下文结构体，保存了视频（音频）编解码相关信息。
       用于将数据进行编解码，比如将yuv420p编码为h264数据，或者将aac数据解码为fltp格式数据，音视频编解码全靠这个类。
       它可以独立存在，也能与 AVStream 相关联；通常一个 AVStream 对象就有一个 AVCodecContext。当它与 AVStream 关联后，生命周期与 AVStream 一样，交给 AVFormatContext 对象管理。
       通常写流时通过制定参数，然后通过 avcodec_open2 打开编码；读流时在通过 avcodec_find_decoder 找到 AVCodec* 后，通过 avcodec_open2 打开编码。
       如果它没有与 AVStream 相关联，那么需要手动关闭，先 avcodec_close，再 avcodec_free_context。
   5.AVInputFormat
       每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体。
       用于查找输入流的对象，在通过 avformat_open_input 使用后，生命周期将交于 AVFormatContext 对象托管，不用再关心泄露
   6.AVDictionary
       通常用于打开前指定参数，使用 av_dict_set 函数设置；使用完毕后通过 av_dict_free 函数释放
   7.AVPacket
       存储一帧压缩编码数据。
       一个这个结构代表一个数据包，用于存储编码后的数据，比如h264 raw数据或aac raw数据。这个数据结构由两部分组成，结构本身和数据部分。
       结构本身通过 av_packet_alloc 与 av_packet_free 分配及释放；数据部分通常通过 avcodec_receive_packet 或 av_read_frame 也就是编码后或者从流管道获取一帧数据，
       由于可能有多个 AVPacket 引用同一块数据，所以不能直接释放，需使用 av_packet_unref 结束引用这一块数据，如果没有结构再引用数据后，数据内存区域将自动释放。
   8.AVFrame
       存储一帧解码后像素（采样）数据。
       可以储存视频图像的rgb或yuv像素格式数据，也可以储存音频的s16或fltp采样格式数据，其中音频一帧的采样数与时长是不定的，
       一帧可能有几十毫秒时长的数据，也可能有半秒时长的数据。结构本身通过 av_frame_alloc 与 av_frame_free 分配及释放；
       数据部分通常通过 avcodec_receive_frame 或 av_frame_get_buffer 解码 AVPacket 或者自己分配。同ACPacket一样，由于可能有多个 AVFrame 引用同一块数据，
       所以不能直接释放，需使用 av_frame_unref 结束引用这一块数据，如果没有结构再引用数据后，数据内存区域将自动释放
   9.SwsContext
       struct SwsContext结构体位于libswscale类库中,。
       该类库主要用于处理图片像素数据, 可以完成图片像素格式的转换, 图片的拉伸等工作。
   10.SwrContext
       struct SwrContext（software resample）主要用于音频重采样，比如采样率转换，声道转换
## FFMpeg关键数据结构体参数解释：
    AVFormatContext
        iformat：输入视频的AVInputFormat
        nb_streams ：输入视频的AVStream 个数
        streams ：输入视频的AVStream []数组
        duration ：输入视频的时长（以微秒为单位）
        bit_rate ：输入视频的码率
   AVInputFormat
        name：       封装格式名称
        long_name：   封装格式的长名称
        extensions：   封装格式的扩展名
        id：           封装格式ID
                        一些封装格式处理的接口函数
   AVStream
        id：序号
        codec：该流对应的AVCodecContext
        time_base：该流的时基
        r_frame_rate：该流的帧率

   AVCodecContext
        codec：编解码器的AVCodec
        width, height：图像的宽高（只针对视频）
        pix_fmt：像素格式（只针对视频）
        sample_rate：采样率（只针对音频）
        channels：声道数（只针对音频）
        sample_fmt：采样格式（只针对音频）

   AVCodec
        name：编解码器名称
        long_name：编解码器长名称
        type：编解码器类型
        id：编解码器ID
        一些编解码的接口函数
   AVPacket
        pts：显示时间戳
        dts ：解码时间戳
        data ：压缩编码数据
        size ：压缩编码数据大小
        stream_index ：所属的AVStream

   AVFrame
        data：          解码后的图像像素数据（音频采样数据）。
        linesize：      对视频来说是图像中一行像素的大小；对音频来说是整个音频帧的大小。
        width, height：图像的宽高（只针对视频）。
        key_frame：      是否为关键帧（只针对视频）。 
        pict_type：      帧类型（只针对视频）。例如I，P，B
   SwsContext
        srcW        源图像的宽度
        srcH        源图像的高度
        srcFormat    源图像的图像格式. 如:
                                            AV_PIX_FMT_YUYV422,   ///< packed YUV 4:2:2, 16bpp, Y0 Cb Y1 Cr
                                            AV_PIX_FMT_RGB24,     ///< packed RGB 8:8:8, 24bpp, RGBRGB...
        dstW        目标图像的宽度
        dstH        目标图像的高度
        dstFormat   目标图像的图像格式(如上的srcFormat)
        flags       标志值, 用于指定rescaling操作的算法和选项
        param       格外的参数.

代码参考雷神博客：

https://blog.csdn.net/leixiaohua1020/article/details/8652605

Stone_OverLooking

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
FFMPEG播放视频及各个字段结构体介绍

**参考雷神的FFMpeg相关资料，针对FFmpeg播放视频的学习进行记录***FFMpeg进行解码，测试文件.mp4，将数据解码为yuv并使用SDL2进行播放。SDL2在win10上的编译，不多阐述，网上一大堆，编译需要DirectX，不然会提示头文件错误。*`测试文件为MP4文件。##FFMpeg解码视频帧的流程如下：1.初始化，注册相关组件，申请空间。2.打开一个输入流,打开输入视频文件3.获取视频文件信息4.找到数据流中...
复制链接

扫一扫

专栏目录