ffmpeg—视频播放器（点播和直播）

最新推荐文章于 2024-08-28 07:35:02 发布

音视频开发老马

最新推荐文章于 2024-08-28 07:35:02 发布

阅读量1k

点赞数

文章标签： ffmpeg 音视频

本文链接：https://blog.csdn.net/yinshipin007/article/details/131927233

版权

本文详细介绍了ffmpeg在视频播放中的应用，包括解封装、解码、格式转换、音频播放、视频处理、音视频同步以及点播时的seek操作。通过BaseChannel、VideoChannel和AudioChannel类实现解码和播放，并利用SwsContext进行图像格式转换，借助opensl ES播放音频。此外，还探讨了音视频同步策略，以及在点播时如何支持seek操作。

摘要由CSDN通过智能技术生成

ffmpeg播放流程:

1、解封装，拿到音视频信息，创建编码器。

2、拿到音频Packet和视频Packet。

3、解码，拿到音频Frame和视频Frame。

4、对于音频原始帧，使用opensl ES进行播放。

5、对于视频帧，需要 swscale库进行格式转换，转换成 ANativeWindow能够接收的数据类型RGBA_8888。

6、音频视频同步。

7、对于本地文件或则点播，支持seek操作。

交叉编译ffmpeg博客地址：Mac编译ffmpeg Android平台库

github地址：https://github.com/wangchao0837/FFmpegPlayer

1、配置ffmpeg，解封装拿到音视频信息。

void FFmpeg::p_prepare() {
    isPlaying = 1;
    duration = 0;
    //初始化网络
    int ret = avformat_network_init();
    LOGE("初始化网络:%s", av_err2str(ret));
    formatContext = avformat_alloc_context();
    AVDictionary *opts = 0;
    //设置超时时间
    av_dict_set(&opts, "timeout", "3000000", 0);
    //datasource:传入的播放地址 可以为本地文件，也可以为网络地址
    //打开网络地址,赋值formatContext
    ret = avformat_open_input(&formatContext, datasource, 0, &opts);
 
    av_dict_free(&opts);
    opts = 0;
    if (ret) {
        LOGE("打开媒体失败:%s", av_err2str(ret));
        callHelper->onError(THREAD_CHILD, FFMPEG_CAN_NOT_OPEN_URL, av_err2str(ret));
        return;
    }
    //拿到总时长，对于本地文件和点播，有效。对于直播地址，为0
    duration = formatContext->duration / 1000000;
    LOGE("duration is :%d", duration);
    //获取流信息，赋值formatContext
    ret = avformat_find_stream_info(formatContext, 0);
    if (ret < 0) {
        LOGE("查找流失败:%s", av_err2str(ret));
        if (isPlaying) {
            callHelper->onError(THREAD_CHILD, FFMPEG_CAN_NOT_FIND_STREAMS, av_err2str(ret));
            isPlaying = 0;
        }
        return;
    }
 
    //formatContext->nb_streams 表示有几条stream，一般有：audiostream 和 videostream
    for (int i = 0; i < formatContext->nb_streams; ++i) {
        AVStream *stream = formatContext->streams[i];
 
        //stream->codecpar : 编码参数
        AVCodecParameters *codecPar = stream->codecpar;
        //查找解码器
        AVCodec *avCodec = avcodec_find_decoder(codecPar->codec_id);
 
        if (NULL == avCodec) {
            LOGE("查找解码器失败:%s", av_err2str(ret));
            if (isPlaying) {
                callHelper->onError(THREAD_CHILD, FFMPEG_FIND_DECODER_FAIL, av_err2str(ret));
                isPlaying = 0;
            }
            return;
        }
        //创建解码上下文
        AVCodecContext *codecContext = avcodec_alloc_context3(avCodec);
 
        if (codecContext == NULL) {
            LOGE("创建解码上下文失败:%s", av_err2str(ret));
            if (isPlaying) {
                callHelper->onError(THREAD_CHILD, FFMPEG_ALLOC_CODEC_CONTEXT_FAIL, av_err2str(ret));
                isPlaying = 0;
            }
            return;
        }
        //设置解码上下文参数
        ret = avcodec_parameters_to_context(codecContext, codecPar);
        if (ret < 0) {
            LOGE("设置解码上下文参数失败:%s", av_err2str(ret));
            if (isPlaying) {
                callHelper->onError(THREAD_CHILD, FFMPEG_CODEC_CONTEXT_PARAMETERS_FAIL,
                                    av_err2str(ret));
                isPlaying = 0;
            }
            return;
        }
        //打开解码器
        ret = avcodec_open2(codecContext, avCodec, 0);
        if (ret != 0) {
            LOGE("打开解码器失败:%s", av_err2str(ret));
            if (isPlaying) {
                callHelper->onError(THREAD_CHILD, FFMPEG_OPEN_DECODER_FAIL, av_err2str(ret));
                isPlaying = 0;
            }
            return;
        }
 
        if (codecPar->codec_type == AVMEDIA_TYPE_VIDEO) {
 
            AVRational frameRate = stream->avg_frame_rate;
            //获取视频帧率
            double fps = av_q2d(frameRate);
            videoChannel = new VideoChannel(i, codecContext, stream->time_base, fps);
        } else if (codecPar->codec_type == AVMEDIA_TYPE_AUDIO) {
            audioChannel = new AudioChannel(i, codecContext, stream->time_base, callHelper,
                                            duration);
        }
 
    }
 
    if (!audioChannel && !videoChannel) {
        LOGE("未找到音视频流");
        const