NDK FFmpeg音视频播放器五

NDK前期基础知识终于学完了,现在开始进入项目实战学习,通过FFmpeg实现一个简单的音视频播放器。

音视频播放器系列:

NDK FFmpeg音视频播放器一

NDK FFmpeg音视频播放器二

NDK FFmpeg音视频播放器三

NDK FFmpeg音视频播放器四

NDK FFmpeg音视频播放器五

NDK FFmpeg音视频播放器六

音视频一二三四节已经实现了音视频播放和解决内存泄漏问题,本节主要是完成音视频同步问题。

本节内容如下:

1.音视频同步画图分析。
2.fps概念与时间基Timebase概念。
3.音视频同步编码实现。

用到的ffmpeg、rtmp等库资源:
https://wwgl.lanzout.com/iN21C0qiiija

一、音视频同步画图分析

1)以音频播放时间为准,做视频同步(95%使用该方式,简单直接,人类对音频是敏感的)
2)以视频播放时间为准,做音频同步
3)自己算出一个播放时间为准,维护音频,维护视频,维护自己算法的时间,做同步(不推荐)

本节主要使用方式1,实现逻辑:
1.获取音频播放的时间搓
2.获取视频播放的时间搓
3.如果视频播放的时间搓 > 音频播放的时间搓,视频播放快,需要等待音频播放,视频播放休眠
4.如果视频播放的时间搓 < 音频播放的时间搓,视频播放慢,需要追赶音频播放,视频播放丢包

二、fps概念与时间基Timebase概念

1)fps是视频通道独有的,fps:一秒钟多少帧;
2)时间基TimeBase:
在FFmpeg里面播放时间有自己的单位(时间基TimeBase),可以理解为:例如:(fps25 一秒钟25帧, 那么每一帧==25分之1,而25分之1就是时间基概念),需要将TimeBase转换为时间戳。

三、音视频同步编码实现

1.音视频同步
/**
 * 1.out_buffers 给予数据
 * 2.out_buffers 给予数据的大小计算工作
 * @return  大小还要计算,因为我们还要做重采样工作,重采样之后,大小不同了
 */
int AudioChannel::getPCM() {
    LOGI("AudioChannel::getPCM");
    int pcm_data_size = 0;
    // 从frames队列中,获取PCM数据,frame->data == PCM数据(待 重采样 32bit)
    AVFrame *frame = 0;
    while (isPlaying) {
        //...

        /**
         * TODO 1.音视频同步
         * 同步方式主要有三种:
         * 1)以音频播放时间为准,做视频同步(95%使用该方式,简单直接,人类对音频是敏感的)
         * 2)以视频播放时间为准,做音频同步
         * 3)自己算出一个播放时间为准,维护音频,维护视频,维护自己算法的时间,做同步(不推荐)
         *
         * 本节主要使用方式1):
         * 1.获取音频播放的时间搓
         * 2.获取视频播放的时间搓
         * 3.如果视频播放的时间搓 > 音频播放的时间搓,视频播放快,需要等待音频播放,视频播放休眠
         * 4.如果视频播放的时间搓 < 音频播放的时间搓,视频播放慢,需要追赶音频播放,视频播放丢包
         */
        /**
         * 获取音频播放的时间搓
         * 在FFmpeg里面播放时间有自己的单位(时间基TimeBase),
         * 时间基TimeBase理解:例如:(fps25 一秒钟25帧, 那么每一帧==25分之1,而25分之1就是时间基概念)
         * 需要将TimeBase转换为时间戳audio_time,TimeBase在解封装的时候获取
         */
        audio_time = frame->best_effort_timestamp * av_q2d(time_base); // 必须这样计算后,才能拿到真正的时间搓
        break;
    } // while end
    return pcm_data_size;
}
1.1音视频同步
// 1.1音视频同步,音频播放时间戳
double audio_time;
2.音视频同步
// TODO 2音视频同步,获取时间基
AVRational time_base = stream->time_base;
2.1音视频同步
// 2.1音视频同步(AudioChannel VideoChannel 都需要时间基)单位而已
AVRational time_base; 
2.2音视频同步
// 2.2音视频同步 (视频独有的 fps值 一秒钟多少帧)
AVRational fps_rational = stream->avg_frame_rate;
int fps = av_q2d(fps_rational);
// 视频,保存视频流下标,用于后面判断获取的压缩包是否是视频压缩包
video_channel = new VideoChannel(i, codec_context, time_base, fps);
2.3音视频同步
// 2.3音视频同步
int fps; // fps是视频通道独有的,fps(一秒钟多少帧)
3.音视频同步
/**
 * TODO 3.音视频同步 (根据fps来休眠) FPS间隔时间加入,有延时感觉,顺滑
 * 公式:extra_delay = repeat_pict / (2*fps)
 * extra_delay:0.0400000
 * 0.04是这一帧的真实时间加上延迟时间
 */
double extra_delay = frame->repeat_pict / (2 * fps); // 在之前的编码时,加入的额外延时时间(可能获取不到)
double fps_delay = 1.0 / fps; // 根据fps得到延时时间(fps25 == 每秒25帧,计算每一帧的延时时间,0.040000)
double real_delay = fps_delay + extra_delay; // extra_delay大概率获取不到,当前帧的延时时间=0.040000
// 计算视频的播放时间搓和音频的播放时间搓
double video_time = frame->best_effort_timestamp * av_q2d(time_base);
double audio_time = audio_channel->audio_time;
// 判断两个时间差值,一个快一个慢(快的等慢的,慢的快点追) == 你追我赶
double time_diff = video_time - audio_time;
LOGI("VideoChannel::video_play() time_diff %lf",time_diff);
if (time_diff > 0) {
	// 视频时间 > 音频时间:要等音频,所以控制视频播放慢一点(等音频) 【睡眠】
	if (time_diff > 1) {
		// 如果音频与视频差别很大,可能是拖动条等特殊场景,不能睡眠那么久,否则是Bug
		// av_usleep((real_delay + time_diff) * 1000000);
		// 稍微睡眠一下
		av_usleep((real_delay * 2) * 1000000);
	} else {
		// 0~1之间:音频与视频差距不大,所以可以拿(当前帧实际延时时间 + 音视频差值)
		av_usleep((real_delay + time_diff) * 1000000); // 单位是微妙:所以 * 1000000
		LOGI("VideoChannel::video_play() av_usleep");
	}
} else if (time_diff < 0) {
	// 视频时间 < 音频时间 要追音频,所以控制视频播放快一点(追音频) 【丢包】
	// 丢帧:不能睡意丢,I帧是绝对不能丢
	// 丢包:在frames 和 packets 中的队列

	// 绝对值在0.05范围内进行丢包处理
	if (fabs(time_diff) <= 0.05) { // fabs对负数的操作(对浮点数取绝对值)
		// 多线程(安全 同步丢包)
		frames.sync();
		continue; // 丢完取下一个包
	}
}
3.1音视频同步
// 3.1音视频同步
AudioChannel *audio_channel = 0;
3.2音视频同步
// 3.2音视频同步
video_channel->setAudioChannel(audio_channel);
4.音视频同步
// TODO 4.音视频同步
SyncCallback syncCallback;

typedef void (*SyncCallback)(queue<T> &); // 函数指针定义 做回调 让外界完成丢包动作

/**
 * 设置此函数指针的回调,让外界去丢包
 * @param syncCallback
 */
void setSyncCallback(SyncCallback syncCallback) {
	this->syncCallback = syncCallback;
}

/**
 * 同步操作 丢包
 */
void sync() {
	pthread_mutex_lock(&mutex);
	syncCallback(queue); // 函数指针 具体丢包动作,让外界完成
	pthread_mutex_unlock(&mutex);
}
4.1音视频同步
// 4.1音视频同步,设置回调函数
frames.setSyncCallback(dropAVFrame);
packets.setSyncCallback(dropAVPacket);

至此,音视频同步问题已解决,下一接将完成音视频播放拖动条功能。。。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sziitjin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值