BPlay1.0系列(6：视频播放)

前面我们已经完成了工程的构建、ffmpeg装载以及基本控件添加，现在就开始BPlay1.0核心部分的分析：视频播放。

1、解封装

Bffmpeg::BLoadMediaFile这个方法在 BPlay1.0系列(4：Bffmpeg单例模式设计+媒体流文件检测) 提到过，当时说是用于检测媒体文件的合法性而构建的，其实其本质就是解封装媒体文件，通过解封装来判断文件是否可以成功载入。在讲解解封装之前，需要先了解这一步在整个视频播放流程的作用和地位，以及播放器在运行的时候究竟需要做哪些事。

上图描述了一个封装数据格式文件在播放时的完整步骤，可以看到第一步就是解封装，以MP4文件为例，它是由编码视频+编码音频合成的，解封装(Bffmpeg::BLoadMediaFile)就是将MP4拆成两部分：编码视频和编码音频，并保存相关信息到FormatContext中，同时获取到音/视频对应的索引和解码器，用于后续音视频解码。

2、音视频解码

首先在音视频主控线程里面，需要不断获取帧数据，将视频帧和音频帧分别加到各自的队列里面：

/********************************
 * void Bffmpeg::run()
 * 功能：音视频主控线程
 * *****************************/
void Bffmpeg::run()
{
    int Ret = 0;
    AVPacket pkt;
    int c = 0;
    while (ffmpegrun) {
        if (AudioQue.que.size() > 5 && VideoQue.que.size() > 5) {
            msleep(10);
            continue;
        }
        Ret = av_read_frame(FormatContext, &pkt);
        if (0 != Ret) {
            BLOG("av_read_frame fail, Ret[%d]", Ret);
            return;
        }

        if (pkt.stream_index == Audio_index) {
            /* 音频流入队列 */
            QMutexLocker locker(&AudioQue.mtx);
            AudioQue.que.push_back(pkt);
        } else if (pkt.stream_index == Video_index) {
            /* 视频流入队列 */
            QMutexLocker locker(&VideoQue.mtx);
            VideoQue.que.push_back(pkt);
        }

        msleep(1);
    }
}

接着时视频解码线程Bvideo::run，它不断从VideoQue队列里面取数据（编码），解码后送到frameque(RGB队列)：

/********************************
 * void Bvideo::run()
 * 功能：视频解码线程
 * *****************************/
void Bvideo::run()
{
    while (videorun)
    {
        AVPacket pkt;
        if (Bffmpeg::GetInstance()->GetVideoQue().que.size() == 0) {
            msleep(10);
            continue;
        } else {
            /* 视频流编码数据出队列 */
            QMutexLocker Locker(&Bffmpeg::GetInstance()->GetVideoQue().mtx);
            AVPacket pkt = Bffmpeg::GetInstance()->GetVideoQue().que.front();
            Bffmpeg::GetInstance()->GetVideoQue().que.pop_front();
        }

        /* 解码 */
        AVFrame* frame = Bffmpeg::GetInstance()->Decode(pkt);
        av_packet_unref(&pkt); 
        if (frame == NULL) {
            continue;
        }
        
        /* 解码帧数据入RGB队列 */
        QMutexLocker FrameLocker(&frameque.mtx);
        frameque.frame.push_back(frame);
        
        msleep(1);
    }
    return;
}

视频解码线程了负责解码的方法实际是Bffmpeg::GetInstance()->Decode(pkt)：

/********************************
 * AVFrame* Bffmpeg::Decode(AVPacket &pkt)
 * 功能：音视频解码
 * *****************************/
AVFrame* Bffmpeg::Decode(AVPacket &pkt)
{
    int Ret = 0;
    AVFrame *frame = av_frame_alloc();   /* 存在反复申请释放（转RGB后释放），后续优化 */
    
    /* 发送数据到ffmepg，放到解码队列中 */
    Ret = avcodec_send_packet(FormatContext->streams[pkt.stream_index]->codec, &pkt);
    if (0 != Ret) {
        BLOG("avcodec_send_packet fail, ret:%d", Ret);
        return NULL;
    }

    /* 从解码队列中取出frame */
    Ret = avcodec_receive_frame(FormatContext->streams[pkt.stream_index]->codec, frame);
    if (0 != Ret) {
        BLOG("avcodec_send_paavcodec_receive_framecket fail, ret:%d", Ret);
        return NULL;
    }
    
    return frame;
}

经过这几个关键接口，视频解码数据已经生成，并且通过frameque(RGB队列)转到显示模块（Bwidget）了。

3、视频显示

显示视频帧主要是通过Bwidget的paintEvent实现，通过定时器(update方法)触发画图事件，先从frame队列取出解码数据，再进行格式统一转化（RGBA32），最后就可以在画板上呈现出来了：

/********************************
 * void Bwidget::paintEvent(QPaintEvent *event)
 * 功能：绘制一帧图像
 * *****************************/
void Bwidget::paintEvent(QPaintEvent *event)
{
    if (Bvideo::GetInstance()->GetFrameque().frame.size() == 0) {
        return;
    }

    /* 解码数据出队列 */
    QMutexLocker Locker(&Bvideo::GetInstance()->GetFrameque().mtx);
    AVFrame* frame = Bvideo::GetInstance()->GetFrameque().frame.front();

    SwsContext *context = NULL;
    AVCodecContext *codec = Bffmpeg::GetInstance()->GetFormatContext()->streams[Bffmpeg::GetInstance()->GetVideoIndex()]->codec;

    /* 解码数据转RGB32 */
    context = sws_getCachedContext(context,                                         /* 转化上下文结构体 */
                                   codec->width, codec->height, codec->pix_fmt,     /* 源图像格式和宽高 */
                                   Width, Height, AV_PIX_FMT_BGRA,                  /* 目标图像格式和宽高 */
                                   SWS_BICUBIC, NULL, NULL, NULL);

    if (NULL == context) {
        BLOG("sws_getCachedContext fail");
        return;
    }

    uint8_t *data[AV_NUM_DATA_POINTERS] = { 0 };
    data[0] = (uint8_t *)Image->bits();
    int linesize[AV_NUM_DATA_POINTERS] = { 0 };
    linesize[0] = Width * 4;                /* 实际显示一行的宽度，32位4个字节 */
    sws_scale(context, frame->data,         /* 源视频解码数据 */
              frame->linesize,              /* 每行大小 */
              0,                            /* 用不到 */
              frame->height,                /* 图像高度 */
              data,                         /* 输出的每个通道数据指针 */
              linesize);                    /* 每个通道行字节数 */

    /* 释放解码数据，出队列 */
    av_frame_free(&frame);
    Bvideo::GetInstance()->GetFrameque().frame.pop_front();

    /* 绘制图像 */
    QPainter painter;
    painter.begin(this);
    painter.drawImage(QPoint(X, Y), *Image);
    painter.end();

    return;
}

此外，对于这个画板还有两个初始化的关键方法Bwidget::InitMedia()，在加载完媒体文件后调用，主要是相关信息获取、内存申请，画布规划这些：

/********************************
 * void Bwidget::InitMedia()
 * 功能：初始化媒体画布相关信息
 * *****************************/
void Bwidget::InitMedia()
{
    int WidgetWidth = width();          /* Bwidget宽 */
    int WidgetHeight = height();        /* Bwidget高 */
    int VideoIndex = Bffmpeg::GetInstance()->GetVideoIndex();
    int MediaWidth = Bffmpeg::GetInstance()->GetFormatContext()->streams[VideoIndex]->codec->width;     /* 视频宽 */
    int MediaHeight = Bffmpeg::GetInstance()->GetFormatContext()->streams[VideoIndex]->codec->height;   /* 视频高 */
    
    if (((float)WidgetWidth / (float)WidgetHeight) > ((float)MediaWidth / (float)MediaHeight)) {
        /* Bwidget宽高比大于视频,左右需要有黑边 */
        Width = (int)((float)WidgetHeight * (float)MediaWidth / (float)MediaHeight);
        Height = WidgetHeight;
        X = (WidgetWidth - Width) / 2;
        Y = 0;
    } else {
        /* Bwidget宽高比小于视频,上下需要有黑边 */
        Width = WidgetWidth;
        Height = ((float)WidgetWidth * (float)MediaHeight / (float)MediaWidth);
        X = 0;
        Y = (WidgetHeight - Height) / 2;;
    }

    if (ImageData) {
        delete ImageData;
    }
    
    if (Image) {
        delete Image;
    }

    /* 初始化视频区域 */
    ImageData = new uchar[Width * Height * 4];
    Image = new QImage(ImageData, Width, Height, QImage::Format_RGB32);
    
    return;
}

最后构建工程，效果如下：