**参考雷神的FFMpeg相关资料,针对FFmpeg播放视频的学习进行记录**
*FFMpeg进行解码,测试文件.mp4,将数据解码为yuv并使用SDL2进行播放。
SDL2在win10上的编译,不多阐述,网上一大堆,编译需要DirectX,不然会提示头文件错误。*`
测试文件为MP4文件。
## FFMpeg解码视频帧的流程如下:
1.初始化,注册相关组件,申请空间。
AVFormatContext *pFormatCtx; //用于维护一个输入流或输出流
AVCodecContext *pCodecCtx; //用于将数据进行编解码,比如将yuv420p编码为h264数据,或者将
//aac数据解码为fltp格式数据,音视频编解码全靠这个类。
AVCodec *pCodec;//编解码对象,通常通过avcodec_find_decoder,函数,传入编码ID获得
AVFrame *pFrame; //存放解码后的视频帧
AVFrame *pFrameYUV; //用于储存音视频的一帧数据,可以储存视频图像的rgb或
//yuv像素格式数据,
AVPacket *packet; //一个这个结构代表一个数据包,用于存储编码后的数据,比如
//h264 raw数据或aac raw数据
//注册所有组件
av_register_all();
//global initialization of network components
avformat_network_init();
//通过 avformat_alloc_output_context2 函数打开,由 avformat_close_input 函数释放
pFormatCtx = avformat_alloc_context();
//Allocate an AVFrame and set its fields to default values
//分配一个AVFrame 并填充默认值
pFrame = av_frame_alloc();
pFrameYUV = av_frame_alloc();
//申请AVPacket内存,这个结构代表一个数据包,用于存储编码后的数据
packet = (AVPacket *)av_malloc(sizeof(AVPacket));
2.打开一个输入流,打开输入视频文件
int ret = avformat_open_input(&pFormatCtx, path, NULL, NULL);
3.获取视频文件信息
//获取视频文件信息
int ret = avformat_find_stream_info(pFormatCtx, NULL);
if (ret < 0)
{
AfxMessageBox(L"Couldn't find stream information.\n");
return -1;
}
4.找到数据流中的视频流
//找到流中的视频流
videoindex = -1;
for (int i = 0; i < pFormatCtx->nb_streams; i++)
{
ret = pFormatCtx->streams[i]->codec->codec_type;
if (ret == AVMEDIA_TYPE_VIDEO)
{
videoindex = i;
break;
}
}
if (videoindex == -1)
{
AfxMessageBox(L"Didn't find a video stream.\n");
return -1;
}
//用于将数据进行编解码,
pCodecCtx = pFormatCtx->streams[videoindex]->codec;
5.查找视频流的编码方式,找到对应的解码方式。
//用于查找FFmpeg的解码器,与之对应的有个编码器 acodec_find_encoder
pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
if (pCodec == NULL)
{
AfxMessageBox(L"Codec not found.\n");
return -1;
}
//使用给定的AVCodec pCodec 初始化AVCodecContext pCodecCtx
//打开解码器
int ret = avcodec_open2(pCodecCtx, pCodec, NULL);
if (ret < 0)
{
AfxMessageBox(L"Could not open codec.\n");
return -1;
}
6.计算视频的宽高,计算返回一个结构体struct SwsContext。
//计算给定的图片的宽度、高度
size_t size = avpicture_get_size(PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);
//输出内容申请空间
out_buffer = (uint8_t *)av_malloc(size);
//根据指定的图像参数设置图片字段和提供的图像数据缓冲区
avpicture_fill((AVPicture *)pFrameYUV, out_buffer, PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);
//分配并返回一个SwsContext。你需要它来播放,使用sws_scale()进行缩放 / 转换操作
img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt,
pCodecCtx->width, pCodecCtx->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);
7.解码数据,使用sws_scale函数进行画面的转换和缩放。
while (true)
{
//从输入文件读取一帧压缩数据
ret = av_read_frame(pFormatCtx, packet); //av_read_frame解码为h264
if (ret >= 0)
{
if (packet->stream_index == videoindex)
{
SaveAvFrame(packet); //保存h264
//解码一帧压缩数据
//got_picture_ptr如果没有可以解压缩的帧为零,否则为非零。
ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
if (ret < 0)
{
AfxMessageBox(L"Decode Error.\n");
ret = -1;
break;
}
if (got_picture)
{
//使用sws_scale()进行缩放 / 转换操作
//解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。
//但是这些像素值并不是连续存储的,每行有效像素之后存储了一些无效像素 。
//以亮度 Y 数据为例 , data[0] 中一共包含了linesize[0] * height个数据。但是出于优化等方面的考虑,
//linesize[0]实际上并不等于宽度width,而是一个比宽度大一些的值。因此需要使
//用sws_scale()进行转换。转换后去除了无效数据,width和linesize[0]取值相等
//这块计算出来的是YUV数据,直接可以播放
sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize,0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);
//保存YUV数据
saveYUVFrameToFile(pFrameYUV);
//解码出来的YUV数据帧放入一个队列。Queue
//mtx.lock();
//v_queue.push(pFrameYUV);
//mtx.unlock();
TRACE("Decode 1 frame\n");
}
//解码失败时 处理当解码函数成功,但got_picture为0时的问题,很大可能是被解码器缓存起来了 ret>=0 got_picture=0
else
{
skipped_frame++;
}
}
//Free a packet.
av_free_packet(packet);
}
}
解码后的数据为什么要经过sws_scale()函数处理?
解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。
但是这些像素值并不是连续存储的,每行有效像素之后存储了一些无效像素 。
以亮度 Y 数据为例,data[0] 中一共包含了linesize[0]*height个数据。
但是出于优化等方面的考虑,linesize[0]实际上并不等于宽度width,而是一个比宽度大一些的值。
因此需要使用sws_scale()进行转换。转换后去除了无效数据,width和linesize[0]取值相等
8.释放内存。
此处添加了两个释放内存的,雷神的代码有内存泄漏。
sws_freeContext(img_convert_ctx);
av_frame_free(&pFrameYUV);
av_frame_free(&pFrame);
//关闭解码器
avcodec_close(pCodecCtx);
//关闭输入视频文件
avformat_close_input(&pFormatCtx);
av_freep(out_buffer);
大致流程如上所述。
## 再来说说关于SDL2播放视频的流程:
1.初始化SDL
int screen_w, screen_h;
SDL_Window *screen; //代表了一个“窗口”
SDL_Renderer *sdlRenderer; //代表了一个“渲染器”
SDL_Texture *sdlTexture; //代表了一个“纹理”
SDL_Rect sdlRect; //一个简单的矩形结构
SDL_Thread *video_tid; //线程的句柄
SDL_Event event; //代表一个事件
int ret = SDL_Init(SDL_INIT_VIDEO | SDL_INIT_TIMER);
2.创建SDL窗口SDL_CreateWindowFrom,参数传入窗口句柄
screen = SDL_CreateWindowFrom(data); //data为显示画面组件句柄
if (!screen)
{
//AfxMessageBox("SDL: could not create window - exiting\n");
return -1;
}
//SDL 2.0 Support for multiple windows 支持多窗口
//获得画面的宽高
screen_w = pCodecCtx->width;
screen_h = pCodecCtx->height;
3.创建SDL渲染器、纹理。
//创建一个渲染器
sdlRenderer = SDL_CreateRenderer(screen, -1, 0);
//IYUV: Y + U + V (3 planes)
//YV12: Y + V + U (3 planes)
//创建一个“纹理
sdlTexture = SDL_CreateTexture(sdlRenderer, SDL_PIXELFORMAT_IYUV, SDL_TEXTUREACCESS_STREAMING,
pCodecCtx->width, pCodecCtx->height);
//设置Rect宽高
sdlRect.x = 0;
sdlRect.y = 0;
sdlRect.w = screen_w;
sdlRect.h = screen_h;
4.创建SDL线程事件触发器
//SDL事件刷新
int CFFMpegProDlg::sfp_refresh_thread(void *opaque)
{
CFFMpegProDlg* p_this=(CFFMpegProDlg*) opaque;
p_this->thread_exit = 0;
p_this->thread_pause = 0;
while (p_this->thread_exit == 0)
{
if (!p_this->thread_pause)
{
SDL_Event event;
event.type = SFM_REFRESH_EVENT;
SDL_PushEvent(&event);
}
SDL_Delay(40);
}
//Quit
SDL_Event event;
event.type = SFM_BREAK_EVENT;
SDL_PushEvent(&event);
p_this->thread_exit = 0;
p_this->thread_pause = 0;
return 0;
}
SDL_Thread* video_tid = SDL_CreateThread(sfp_refresh_thread, NULL, NULL);
5.拿到解码后的视频数据,渲染播放。
int ret = -1;
AVFrame *pFrameYUV = av_frame_alloc();
while (true)
{
SDL_WaitEvent(&event);
if (event.type == SFM_REFRESH_EVENT)
{
//------------------------------
//从输入文件读取一帧压缩数据
ret = av_read_frame(pFormatCtx, packet);
if (ret >= 0)
{
if (packet->stream_index == videoindex)
{
//解码一帧压缩数据
//got_picture_ptr如果没有可以解压缩的帧为零,否则为非零。
ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
if (ret < 0)
{
//AfxMessageBox("Decode Error.\n");
break;
}
if (got_picture)
{
//使用sws_scale()进行缩放 / 转换操作
//解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。
//但是这些像素值并不是连续存储的,每行有效像素之后存储了一些无效像素 。
//以亮度 Y 数据为例 , data[0] 中一共包含了linesize[0] * height个数据。但是出于优化等方面的考虑,//linesize[0]实际上并不等于宽度width,而是一个比宽度大一些的值。因此需要使
//用sws_scale()进行转换。转换后去除了无效数据,width和linesize[0]取值相等
sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize,0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);
//取到YUV数据pFrameYUV,进行转换后就可以直接播放。
//SDL---------------------------
//更新纹理
SDL_UpdateTexture(sdlTexture, NULL, pFrameYUV->data[0], pFrameYUV->linesize[0]);
//清空渲染器
SDL_RenderClear(sdlRenderer);
//复制纹理到渲染器
//SDL_RenderCopy( sdlRenderer, sdlTexture, &sdlRect, &sdlRect );
SDL_RenderCopy(sdlRenderer, sdlTexture, NULL, NULL);
//更新屏幕
SDL_RenderPresent(sdlRenderer);
//SDL End-----------------------
TRACE("Decode 1 frame\n");
}
}
//Free a packet.
av_free_packet(packet);
}
else
{
//Exit Thread
thread_exit = 1;
}
}
else if (event.type == SDL_QUIT)
{
thread_exit = 1;
}
else if (event.type == SFM_BREAK_EVENT)
{
break;
}
}
6.释放内存。
SDL_DestroyWindow(screen);
SDL_Quit();
大致流程如上所述。
***注:如果要使用C++11 std特性,则需要删除FFMpeg的头文件中的 stdint.h文件,是直接删除。不然编译会报错。***
## FFmpeg一共包含8个库:
avcodec: 编解码(最重要的库)。
avformat:封装格式处理。
avfilter:滤镜特效处理。
avdevice:各种设备的输入输出。
avutil: 工具库(大部分库都需要这个库的支持)。
postproc:后加工。
swresample:音频采样数据格式转换。
swscale: 视频像素数据格式转换
## FFMPEG数据结构生命周期:
1.AVCodec
视频(音频)编解码器。
编码对象,通常通过 avcodec_find_decoder 函数,传入编码ID获得,可以直接抛弃,不用关心泄露。
2.AVFormatContext
封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装格式相关信息。
最重要的对象之一,用于维护一个输入流或输出流,通常通过 avformat_alloc_output_context2 函数打开,由 avformat_close_input 函数释放。对于文件对象,生命周期类似文件句柄;对于网络IO对象,生命周期类似C语言网络函数中的SOCKET句柄。
3.AVStream
视频文件中每个视频(音频)流对应一个该结构体。
这个类的作用就是指定具体的流的类型,比如一个MP4文件有音视频数据,那么处理这个文件就由一个 AVFormatContext 对象来维护,可以通过这个对象访问两个 AVStream 对象,一个用于视频的处理(读或写),一个用于音频的处理(读或写)。
在读流的情况下:使用 avformat_find_stream_info 找出所有流的信息同时打开所有流,生命周期此时将交于 AVFormatContext 对象托管,不用再关心泄露。
在写流的情况下:使用 avformat_new_stream 创建新的流并关联至 AVFormatContext,生命周期此时将交于 AVFormatContext 对象托管,不用再关心泄露
4.AVCodecContext
编码器上下文结构体,保存了视频(音频)编解码相关信息。
用于将数据进行编解码,比如将yuv420p编码为h264数据,或者将aac数据解码为fltp格式数据,音视频编解码全靠这个类。
它可以独立存在,也能与 AVStream 相关联;通常一个 AVStream 对象就有一个 AVCodecContext。当它与 AVStream 关联后,生命周期与 AVStream 一样,交给 AVFormatContext 对象管理。
通常写流时通过制定参数,然后通过 avcodec_open2 打开编码;读流时在通过 avcodec_find_decoder 找到 AVCodec* 后,通过 avcodec_open2 打开编码。
如果它没有与 AVStream 相关联,那么需要手动关闭,先 avcodec_close,再 avcodec_free_context。
5.AVInputFormat
每种封装格式(例如FLV, MKV, MP4, AVI)对应一个该结构体。
用于查找输入流的对象,在通过 avformat_open_input 使用后,生命周期将交于 AVFormatContext 对象托管,不用再关心泄露
6.AVDictionary
通常用于打开前指定参数,使用 av_dict_set 函数设置;使用完毕后通过 av_dict_free 函数释放
7.AVPacket
存储一帧压缩编码数据。
一个这个结构代表一个数据包,用于存储编码后的数据,比如h264 raw数据或aac raw数据。这个数据结构由两部分组成,结构本身和数据部分。
结构本身通过 av_packet_alloc 与 av_packet_free 分配及释放;数据部分通常通过 avcodec_receive_packet 或 av_read_frame 也就是编码后或者从流管道获取一帧数据,
由于可能有多个 AVPacket 引用同一块数据,所以不能直接释放,需使用 av_packet_unref 结束引用这一块数据,如果没有结构再引用数据后,数据内存区域将自动释放。
8.AVFrame
存储一帧解码后像素(采样)数据。
可以储存视频图像的rgb或yuv像素格式数据,也可以储存音频的s16或fltp采样格式数据,其中音频一帧的采样数与时长是不定的,
一帧可能有几十毫秒时长的数据,也可能有半秒时长的数据。结构本身通过 av_frame_alloc 与 av_frame_free 分配及释放;
数据部分通常通过 avcodec_receive_frame 或 av_frame_get_buffer 解码 AVPacket 或者自己分配。同ACPacket一样,由于可能有多个 AVFrame 引用同一块数据,
所以不能直接释放,需使用 av_frame_unref 结束引用这一块数据,如果没有结构再引用数据后,数据内存区域将自动释放
9.SwsContext
struct SwsContext结构体位于libswscale类库中,。
该类库主要用于处理图片像素数据, 可以完成图片像素格式的转换, 图片的拉伸等工作。
10.SwrContext
struct SwrContext(software resample) 主要用于音频重采样,比如采样率转换,声道转换
## FFMpeg关键数据结构体参数解释:
AVFormatContext
iformat:输入视频的AVInputFormat
nb_streams :输入视频的AVStream 个数
streams :输入视频的AVStream []数组
duration :输入视频的时长(以微秒为单位)
bit_rate :输入视频的码率
AVInputFormat
name: 封装格式名称
long_name: 封装格式的长名称
extensions: 封装格式的扩展名
id: 封装格式ID
一些封装格式处理的接口函数
AVStream
id:序号
codec:该流对应的AVCodecContext
time_base:该流的时基
r_frame_rate:该流的帧率
AVCodecContext
codec:编解码器的AVCodec
width, height:图像的宽高(只针对视频)
pix_fmt:像素格式(只针对视频)
sample_rate:采样率(只针对音频)
channels:声道数(只针对音频)
sample_fmt:采样格式(只针对音频)
AVCodec
name:编解码器名称
long_name:编解码器长名称
type:编解码器类型
id:编解码器ID
一些编解码的接口函数
AVPacket
pts:显示时间戳
dts :解码时间戳
data :压缩编码数据
size :压缩编码数据大小
stream_index :所属的AVStream
AVFrame
data: 解码后的图像像素数据(音频采样数据)。
linesize: 对视频来说是图像中一行像素的大小;对音频来说是整个音频帧的大小。
width, height:图像的宽高(只针对视频)。
key_frame: 是否为关键帧(只针对视频) 。
pict_type: 帧类型(只针对视频) 。例如I,P,B
SwsContext
srcW 源图像的宽度
srcH 源图像的高度
srcFormat 源图像的图像格式. 如:
AV_PIX_FMT_YUYV422, ///< packed YUV 4:2:2, 16bpp, Y0 Cb Y1 Cr
AV_PIX_FMT_RGB24, ///< packed RGB 8:8:8, 24bpp, RGBRGB...
dstW 目标图像的宽度
dstH 目标图像的高度
dstFormat 目标图像的图像格式(如上的srcFormat)
flags 标志值, 用于指定rescaling操作的算法和选项
param 格外的参数.
代码参考雷神博客:
https://blog.csdn.net/leixiaohua1020/article/details/8652605