QT 6.6.0 + FFmpeg + SDL2实现音频视频播放（音视频播放同步改进）

已于 2024-09-07 13:47:50 修改
阅读量879 收藏 22
点赞数 12
分类专栏： QT初学 文章标签： qt ffmpeg 音视频 SDL2 开发语言 C/C++ 链表
于 2024-09-06 18:29:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Keep_Trying_Go/article/details/141917537
版权

B站视频讲解

GitHub源码下载地址

目录

前置知识点（官方 + 网上查询）

第一点：AVCodecContext的time_base变量含义

第二点：AVFrame 结构体的 repeat_pict 变量含义

第三点：AVFrame 结构体的 best_effort_timestamp 变量含义

最后一点：每秒钟总的字节数

特别的“加权平均”

video_refresh_timer函数实现大致含义

get_audio_clock(VideoState * videoState)函数实现含义 

初学案例教程
QT6.6.0实现打开电脑摄像头或其他的外接摄像头（实现拍照功能）
QT6.6.0实现简单的录音器
QT6.6.0实现一个简单的视频和音频播放器
QT6.6.0实现简单的视频录制（包含语音录制）器
QT6.6.0关于QMediaMetaData功能以及列子说明使用方法
QT6.6.0实现QtCamera功能（拍照，录像以及图像和视频的相关配置）
T6.6.0实现更好的视频播放器（前期改进）
QT6.6.0实现图表如饼图，柱状图，散点图以及盒图等的基本使用
QT6.6.0实现客户端Socket编程以及socket测试软件通信
QT6.6.0 实现服务端Server和多个客户端Client通信以及socket测试软件通信
QT6.6.0 实现QNetworkAccessManager的基本应用以及其拓展使用
QT6.6.0 实现服务端Server和多个客户端Client互相发送文件信息
QT6.6.0和QT6.0以下的版本实现FTP文件上传和下载（过程详解）
QT6.6.0实现QNetworkInterface网络接口，QHostAddress网络地址IP以及域名解析等相关信息查询。
QT6.6.0基于QTcpSocket和QTcpServer实现多个客户端群聊
QT6.6.0实现基于UDP协议的简单通信（过程详解）
QT 6.6.0基于UDP协议实现广播和多播机制（过程详解）
QT 6.6.0基于UDP协议实现群聊功能（过程详解）
QT 6.6.0中OpenCV两种环境的配置方法以及基本使用例子
QT 6.6.0 中基于OpenCV的图像变换以及基于鼠标点击移动事件的图像绘制
QT 6.6.0 基于OpenCV对图像进行旋转，缩放和裁剪等操作
QT 6.6.0 基于OpenCV实现图像风格的改变（add和subtract）
PyTorch 训练之后的网络模型.pth转.onnx文件并对图像进行预测
QT 6.6.0 基于OpenCV加载.pth模型文件转换之后的ONNX模型文件，并且实现图像分类
QT 6.6.0 基于OpenCV中的cv::dnn::ClassificationModel实现图像分类
yolov5目标检测和QT 6.6.0 基于OpenCV加载yolov5.onnx模型文件实现目标检测
FCN图像分割和QT 6.6.0 加载分割FCN_Resnet50.ONNX模型文件进行图像分割（过程详解）
QT 6.6.0 中基于SDL2库实现WAV音频格式的播放（过程详解）
QT 6.6.0 中SDL2库的基本使用以及利用SDL2库创建的界面实现音频播放（过程详解）
QT 6.6.0 中基于SDL2,SDL2_ttf,SDL2_image,SDL2_mixer实现音频播放器（改进版）
QT 6.6.0 + SDL2 + SDL2_mixer实现音频播放器（改进）
QT 6.6.0 中基于FFmpeg + SDL2 + SDL2_mixer实现音频录音（过程详解）
QT 6.6.0 + FFmpeg + SDL2实现MP4视频播放（过程详解）
QT 6.6.0 + FFmpeg + SDL2实现视频播放器（视频和音频同时播放-改进）
QT 6.6.0 + FFmpeg + SDL2实现音频视频播放（改进）
QT 6.6.0 + FFmpeg + SDL2实现音频视频播放（视频帧播放多线程改进）

        其实在前面的视频播放器实现的过程中我们就已经视频和音频的运行比较流畅（链接），但是其实很多视频并不是这样的，因此，我们需要将视频和音频进行同步，就像参考1 所说的，可以将音频同步到视频，或者将视频同步到音频，再或者两者同步到外部时钟。虽然我们前面都采用了多线程，互斥量和条件变量操作，但是还是需要进行改进，这一系列的改进不仅仅是因为实现视频和音频的同步播放，而且方便功能的拓展。参考2

       从前面的改进到现在，我们一直都在说这样的改进，比如使用链队列来存储视频帧和音频数据，使用多线程，互斥量和条件变量（其实我们在实施改进之前就已经使用了这些技术）等操作将视频帧或者音频播放部分进行进一步的拆解，那么这些操作真的是在为后面的功能拓展做铺垫吗？看完这篇文章之后，小伙伴就应该有感受了。视频帧有解码时间戳（DTS）（视频帧或音频解码）和显示时间戳（PTS）（视频帧显示或音频播放），那么这些是不是影响着视频或者音频的播放速度和播放时间以及视频帧是否会丢失的问题，也就是我们的视频帧的解码和播放之间可能并不同步，本篇文章主要基于上面给出的参考链接1和参考链接2来视频帧播放的同步，正是利用实现同步为后期实现快进和快退等功能打下基础。

        视频帧播放和音频播放（buffer size）时间轴参考：也就是视频帧和音频在播放的过程可能不同步。建议看这个时间轴之前先去看视频和代码实现，然后来看时间轴会更好理解一点。

注：图中涉及的变量名称和代码中是提到的名称是对应的。 

注：这里之所以没有给出一个流程图，是因为整个改进的过程虽然代码不多，但是逻辑上不好去绘制流程图给大家看，大家可以看一下上面给出的视频大致讲解。

前置知识点（官方 + 网上查询）

第一点：AVCodecContext的time_base变量含义

  • 时间基准：time_base 是一个 AVRational 结构体，表示时间戳的分数形式。它的含义是“每一秒钟有多少个时间单位”，即：

                                  time_base = numerator / denominator（可以理解为播放一帧所需要的间）

  • 时间戳计算：在解码和播放视频时，帧的时间戳（pts-显示时间戳 和 dts-解码时间戳）通常是以 time_base 为单位的。通过将时间戳与 time_base 相乘，可以将其转换为秒：

                                   seconds = pts×(time_base.numerator / time_base.denominator)

第二点：AVFrame 结构体的 repeat_pict 变量含义

repeat_pict 是一个整数值，表示当前帧的重复次数。它指示当前帧在播放时需要重复的次数。该变量的值通常与视频的时间基准（time_base）和帧率（frame rate）结合使用，以确定帧的实际播放时间。

  • repeat_pict 值的含义：

    • 0：表示当前帧不需要重复。
    • 1：表示当前帧需要重复一次（即播放两次）。
    • 2：表示当前帧需要重复两次（即播放三次）。
    • 以此类推。

第三点：AVFrame 结构体的 best_effort_timestamp 变量含义

best_effort_timestamp 是一个 int64_t 类型的变量，表示当前帧的最佳努力 PTS（显示时间戳，Presentation Time Stamp）

与 PTS 和 DTS 的关系

  • PTS（Presentation Time Stamp）：表示帧应该在播放时显示的时间。它是帧的实际显示时间。
  • DTS（Decoding Time Stamp）：表示帧应该在解码时被处理的时间。它通常用于确定解码顺序。
  • best_effort_timestamp：在无法获取精确 PTS 的情况下，使用 best_effort_timestamp 作为最佳努力的时间戳，以尽量保持播放的顺序和同步。

注：如果不理解“最佳努力 PTS”就认为是“最佳时刻视频帧的显示时间戳”，让视频帧在解码时间戳和显示时间戳之间是保持同步的。

最后一点：每秒钟总的字节数

  • 采样率（sample_ratio）：44100 Hz (samples/second)
  • 位深度（音频格式）：16 位（即每个样本 2 字节）(bytes/sample)
  • 声道数（channels）：2（立体声，1-单声道）(channels)

那么每秒钟的字节数计算如下：

每秒字节数=44100 * 2  * 2  = 176400 bytes / second

特别的“加权平均”

   注：我这里所说的“特别”是表达和我们之前所想的的求解加权平均的方式不同，没有其他的意思。

avgx = \frac{\sum {​{w_{i}{x_{i}}}}}{\sum w_{i}}  标准的加权平均求解方式  -求解x的平均值                                     （1）

根据教程的作者所说的，采用几何级数作为权重实现加权平均。

\lim_{n\rightarrow\ \propto}\sum (C^{0} + C^{1} + C^{2} + ... + C^{n}) = \frac{1}{1 - C} (|C| < 1)                              （2）

作者的描述是当n趋近于无穷大的时候，级数的结果为1 / (1 - C)，其实关于上面公式2是怎么推来的，大家直接看高数或者网上搜索推理过程即可知道（提醒：从等比数列推来）。

\lim_{n\rightarrow\ \propto}\sum (C^{0}+ C^{1} + C^{2} + ... + C^{n}) = \frac{1}{1 - C} (|C| < 1) \\\\ avgX = C^{0} * x_{0} + C^{1} * x_{1} + ... + C^{n} * x_{n} = \frac{\sum C^{i} * x_{i}}{\sum C^{i}} = \frac{total}{1 / (1 - C)} = total * (1 - C)

注：这也就是代码中所对应的大致公式。

video_refresh_timer函数实现大致含义

get_audio_clock(VideoState * videoState)函数实现含义 

Keep_Trying_Go
关注
专栏目录
Qt/C++音视频开发01-共享解码线程（耗时一年/性能凶残/至臻完美）
Qt/C++视频监控/推流/物联网/大屏系统/自定义控件/UI定制/输入法
11-06 2865
大概在8年前就开始用ffmpeg做视频解码的显示，第一个版本就100行代码左右，功能极其简单，就是开个线程解码视频流转成图片发给主界面绘制。时间过得真快，从当初的一胎到现在二胎都上学了三胎计划中。
Qt6.6.0 + OOCT7.7.0 + VS2022项目配置记录
wolfark的博客
11-08 813
一开始我准备用VS的Qt插件提供的项目模板直接在解决方案里创建新的Qt项目，但是不成功。用安装好的QtCreator创建WidgetsApplication项目，BuildSystem选qmake，这样构建完就能生成.pro项目，之后在VS里就能用插件打开并添加了。##【Qt项目生成报错】build之后报错error MSB4184: 找不到文件qt.natvis.xml，网上的解决方案又多是改插件版本，但在文章。2. 用QtCreator生成Qt项目，用VS里的Qt插件添加进1中的解决方案。
从零开始学习音视频编程技术（八） FFMPEG Qt视频播放器之音视频同步
qq214517703的专栏
09-22 3195
原文地址：http://blog.yundiantech.com/?log=blog&id=11 前面分别讲解了： 用FFMPEG和Qt解码视频并显示到界面上。 用FFMPEG+SDL解码播放音频。 现在我们就将视频和音频合并，并让声音和画面同步。 加入音频的部分就不做讲解了，这里主要讲下声音和视频同步的步骤。
Qt利用ffmpeg实现音视频同步
m0_73443478的博客
04-10 1768
Qt利用ffmpeg实现音视频同步
05 FFMPEG Qt视频播放器之音视频同步
chenyijun的专栏
09-21 712
开发环境：Windows 10， Qt 5.13.1, ffmpeg 4.2.2 上几篇介绍分别介绍了ffmpeg解码视频显示在界面上，解码音频用SDL播放。 本篇整合两个功能，使用音视频同步。 这里主要讲下声音和视频同步的步骤。 首先刚开始播放的时候通过av_gettime()获取系统主时钟，记录下来。 以后便不断调用av_gettime()获取系统时钟 减去之前记录下的差值，便得到了一个视频播放了多久的实际时间。 对于视频的同步我们这样做： 从视频读取出的数据中包含一个pts的信息(.
QT + FFMPEG实现基本播放器（五）：音频视频同步
A707471534的博客
08-04 1980
QT + FFMPEG实现基本播放器（五）：音频视频同步 该文章主要参考：https://www.cnblogs.com/leisure_chn/p/10284653.html 对于音视频播放来说，如果不进行同步的话，即使在视频开头是同步的，但是播放到后面肯定会出现不同步的现象。 视频是按帧播放，图像显示设备每次显示一帧画面，视频播放速度由帧率确定，帧率指示每秒显示多少帧；音频按采样点播放，声音播放设备每次播放一个采样点，声音播放速度由采样率确定，采样率指示每秒播放多少个采样点。如果仅仅是视频按帧率播放，音
Qt+openCV学习笔记（十六）Qt6.6.0rc+openCV4.8.1+emsdk3.1.37编译的静态库
10-04
Qt+openCV学习笔记（十六）Qt6.6.0rc+openCV4.8.1+emsdk3.1.37编译的静态库 CSDN审核可能较慢，如无法下载，可以过段时间再回来看下 仅供相关爱好者交流使用，请于下载24小时内删除
QT播放pcm音频文件(自带音频文件，可直接运行)
11-16
如果QT不直接支持PCM，我们可以使用QAudioOutput来处理PCM数据，通过自定义的音频缓冲区实现播放。 在QT中，我们还可以添加事件监听器，以控制音频播放，如暂停、停止、音量调节等： ```cpp connect(player, &...
cupy-6.6.0+cuda102-cp38-cp38-win_amd64
08-19
cupy-6.6.0+cuda102-cp38-cp38-win_amd64
cupy-6.6.0+cuda102-cp37-cp37m-win_amd64
08-19
cupy-6.6.0+cuda102-cp37-cp37m-win_amd64
以FFmpeg为基础的音视频同步代码（linux）
10-31
以FFmpeg为基础的音视频同步代码（linux）
从零开始学习音视频编程技术（九） FFMPEG Qt视频播放器之同步进阶篇
09-14
从零开始学习音视频编程技术（九） FFMPEG Qt视频播放器之同步进阶篇 FFMPEG的版本是2.5.2 SDL的版本是2.04 记得将ffmpeg/bin目录下的dll文件拷贝到编译生成的exe所在的目录下，否则会无法运行。 关于代码的解释 请参考： http://blog.yundiantech.com/?log=blog&id=12
一个qt+ffmpeg+opengl播放音视频的demo
01-29
一个qt+ffmpeg+opengl播放音视频的demo，存在少量bug，供学习使用，注释蛮齐全的
ffmpeg2.6+sdl2.0音视频同步简单播放器(同步需要更改和优化)
06-01
vs2013工程，基于最新的ffmpeg2.6 和 SDL2.0 开发的简单音视频播放器，同步问题有待大改动，参考：http://www.cnblogs.com/Bonker/p/3998836.html
qt+ffmpeg 实现音视频播放（四）之音视频同步
ckg3824278的博客
05-31 807
qt+ffmpeg 实现音视频播放（四）之音视频同步
Qt6 ffmpeg 音频和视频(同步)推流到nginx-rtmp3
虾球
11-22 3151
main.cpp #include <QApplication> #include "Controller.h" using namespace std; int main(int argc, char *argv[]) { QApplication a(argc, argv); qDebug() << "main thread:" << QThread::currentThreadId(); Controller *controller
Qt+FFmpeg播放音视频器，且支持音视频同步。
hw5230的博客
01-20 666
Qt+FFmpeg播放音视频器，且支持音视频同步。
【QT学习笔记】QT教程：FFmpeg播放音视频器，且支持音视频同步
ffffffeiyu的博客
02-23 473
框架：线程1：ffmpeg视频解码。线程2：ffmpeg音频解码。线程3：播放每一帧音频，使用QAudioOutput配合QIODevice来实现。主线程：绘制每一帧图片，使用QOpenGLWidget的paintGL来实现。
【Qt实战教程第3.3篇 Qt FFmpeg5.1.4 音视频同步原理及代码解析】
qq_29130077的博客
05-12 528
Qt FFmpeg音视频同步原理及代码解析
qt6.6.0中qtopengl头文件
最新发布
08-20
Qt 6.6.0 中的 `QToplugin` 库主要用于处理 OpenGL (OpenGL ES) 功能，它是 Qt Graphics 模块的一部分。`qtopengl` 头文件通常包含了用于创建、渲染图形以及与 OpenGL API 相关的各种类和函数，如 `QOpenGLContext`, `QOpenGLFunctions`, 和 `QOpenGLWidget` 等。 `QOpenGLContext` 是一个用于管理OpenGL上下文的对象，它负责设置渲染环境；`QOpenGLFunctions` 提供了对 OpenGL 函数的包装，便于在 Qt 应用程序中安全地调用；而 `QOpenGLWidget` 是一个基础的窗口组件，可以作为显示 OpenGL 内容的基础。 如果你要在 Qt 6.6.0 中使用 OpenGL，需要包含 `<QOpenGLWidgets>` 或者更具体的 `<QOpenGLFunctions_XX>` 头文件，其中 _XX 表示特定版本的 OpenGL。例如，如果是 OpenGL 4.5，你需要包含 `<QOpenGLFunctions_4_5_Core>`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值