【Qt实战教程第3.3篇 Qt FFmpeg5.1.4 音视频同步原理及代码解析】

本博主只关注实战系列，Qt的基本语法课参考其他博主的Qt教程
本章内容会讲解到音视频同步的原理及代码分析，为什么要做音视频同步，不做同步会有什么问题，带着这些问题我们接着向下看

一、为什么要做音视频同步

FFmpeg在视频处理中，音频和视频通常是分开处理的，它们以不同的速度进行解码和播放。如果不对它们进行同步，就会导致音频和视频不匹配，也就是声音和嘴型是不对应的

二、音视频同步原理

ffmpeg中视频解码比音频快很多，所以会在视频播放过程中将所有的音频解码完毕，并将每帧对应的音频数据和当前帧数分别存入一个链表中。会从链表取一个periodSize大小的数据，在取得过程中会记录当前取到哪一帧数据了，然后将periodSize大小的数据写入输出设备进行播放，这样，我们能够知道当前音频数据具体播放到哪一帧了。最后在视频解码线程中，获取音频播放到哪一帧，和自己做对比来进行同步。

三、音视频同步代码分析

音视频同步一般有3种同步方式：
1：音频向视频同步
2：视频向音频同步–常用
3：音频和视频向系统时钟同步
我们创建一个时钟，通过解码后的音频帧获取pts，把pts设置到时钟里面，在视频解码线程中根据视频帧的pts和音频帧的pts比较，视频太快则等待，视频太慢则丢帧

音频解码：

AVFrame* pFrame = av_frame_alloc();
if (avcodec_receive_frame(pAudioCodecCtx, pFrame) != 0)
{
	av_frame_free(&pFrame);
	continue;
}

double audioPts = pFrame->pts * av_q2d(pFormatCtx->streams[m_nAudioStream]->time_base);
if (audioPts < m_nSeek_Time)
{
	av_frame_free(&pFrame);
	continue;
}
emit sig_sendPlayPosition((int)audioPts);
clock->set_clock(audioPts, 0);

视频解码：

AVFrame* pFrame = av_frame_alloc();
if (avcodec_receive_frame(pVideoCodecCtx, pFrame) != 0)
{
	av_frame_free(&pFrame);
	continue;
}
av_packet_unref(pkt);
if (m_nAudioStream >= 0) // 音视频同步
{
	double videoPts = pFrame->pts * av_q2d(pFormatCtx->streams[m_nVideoStream]->time_base); // 单位秒
	if (videoPts < m_nSeek_Time)
	{
		av_frame_free(&pFrame);
		continue;
	}
	double audioTime = clock->get_clock();
	if (isnan(audioTime))
	{
		usleep(1000 * 1000 / dFrameRate); // 获取帧率
		av_frame_free(&pFrame);
		continue;
	}

	int DiffTimeMs = videoPts * 1000 - audioTime * 1000;
	if (DiffTimeMs >= 0)//视频时钟比主时钟快，则休眠
	{
		msleep(DiffTimeMs);
	}
	else//视频时钟比主时钟慢，则丢弃该帧
	{
		msleep(1);
		av_frame_free(&pFrame);
		continue;
	}
}

四、结语

下一节【Qt 绘图QGraphicsView等架构实现类似labelImg的功能】
Qt FFmpeg音视频播放器完整版代码下载