适合学习研究的几个音视频开源框架

很多程序员想学习音视频的编程开发，却不知从何学习，因为音视频技术的体系庞大、知识杂糅，一眼望去就令人生怯。那么学习音视频建议站在前人的肩膀上，从优秀的音视频开源框架开始钻研，先熟悉这些开源工具的具体用法，再深入了解这些开源框架的实现代码。

有鉴于此，博主整理了几个流行的音视频开源框架，分别对它们概要说明如下：

一、计算机视觉库OpenCV

OpenCV全称Open Source Computer Vision Library，它是一个跨平台计算机视觉和机器学习软件库，可运行于Linux、Windows、Android和MacOS等操作系统。

OpenCV的官网地址为https://opencv.org/，它在Github上的源码托管入口页面为https://github.com/opencv/opencv。截止2024年8月4日的Github统计，OpenCV项目的星标数为7.73万，副本数为5.57万。

OpenCV在编程实践中的用法主要有下列三种：

1、通过Python脚本使用OpenCV

先执行下面命令安装OpenCV的Python支持库。

pip install opencv-python

然后在Python代码的开头通过下面语句导入OpenCV库：

import cv2

接着即可在Python代码中调用OpenCV的各种处理函数了。

2、通过Qt在桌面程序中集成OpenCV

先把OpenCV的C++支持库下载到本地目录，再打开Qt的C++工程的CMakeLists.txt，在文件内容的qt_add_executable之前添加下面几行配置，表示指定OpenCV库的头文件目录和库文件目录。

# 添加头文件的所在目录
include_directories(opencv/include)
# 指定lib文件的链接目录
link_directories(opencv/lib)

接着把下面这行配置：

target_link_libraries(test_opencv PRIVATE Qt${QT_VERSION_MAJOR}::Widgets)

改成下面几行配置，目的是引入链接新增的OpenCV库文件：

# 设置名叫opencv-libs的库集合，指定它包括哪些so库文件
set(opencv-libs opencv_world480)
target_link_libraries(test_opencv PRIVATE Qt${QT_VERSION_MAJOR}::Widgets ${opencv-libs})

接着即可在C++代码中导入OpenCV的头文件，并调用OpenCV的各种处理函数了。

3、通过Android Studio在移动App中集成OpenCV

首先下载OpenCV的源码包，解压后找到OpenCV-android-sdk目录，该目录下有两个子目录，分别是和samples和sdk。其中sdk为库工程，App使用OpenCV前都要引用该库工程；samples是样例工程，下面有若干范例模块。

接着把上面的sdk目录集成到Android Studio的App工程中。

二、计算机图形库学习教程LearnOpenGL

LearnOpenGL是一个开源的OpenGL教程，可供初学者学习如何使用OpenGL来创建3D图形和动画。LearnOpenGL既提供了实体的英文书籍，也提供了免费的英文电子版PDF，官网的电子版PDF下载链接为https://learnopengl.com/book/book_pdf.pdf。

LearnOpenGL的官网地址为https://learnopengl.com/，它在Github上的源码托管入口页面为https://github.com/JoeyDeVries/LearnOpenGL。截止2024年8月4日的Github统计，LearnOpenGL项目的星标数为1.07万，副本数为0.27万。

三、多媒体处理框架FFmpeg

FFmpeg全称Fast Forward MPEG，意思是快速掌握MPEG，它是一个开源的跨平台多媒体处理框架，可运行于Linux、Windows、Android和MacOS等操作系统。FFmpeg不仅能够处理音频、视频文件，还能处理图像、字幕等文件，可谓功能强悍。

FFmpeg的官网地址为https://ffmpeg.org/，它在Github上的源码托管入口页面为https://github.com/FFmpeg/FFmpeg。截止2024年8月4日的Github统计，FFmpeg项目的星标数为4.41万，副本数为1.19万。

FFmpeg在编程实践中的用法主要有下列三种：

1、在命令行中运行FFmpeg

在Linux系统上编译与安装FFmpeg，即可生成三个可执行程序，分别是ffmpeg、ffplay、ffprobe。接着即可在命令行中执行相关的音视频处理操作。

2、通过Qt在桌面程序中集成FFmpeg

先在Windows系统上编译出FFmpeg的dll动态库。再给Qt的C++工程集成前面编译好的dll动态库及其头文件。接着即可在C++代码中调用FFmpeg提供的各种API。

3、通过Android Studio在移动App中集成FFmpeg

四、视频录制直播工具OBS Studio

OBS Studio全称Open Broadcaster Software Studio，它是一个开源的跨平台实时流媒体和屏幕录制工具，可运行于Linux、Windows和MacOS等操作系统。

OBS Studio的官网地址为https://obsproject.com/，它在Github上的源码托管入口页面为https://github.com/obsproject/obs-studio。截止2024年8月4日的Github统计，OBS Studio项目的星标数为5.8万，副本数为0.78万。

五、音视频播放器VLC media player

VLC media player是一款开源的跨平台多媒体播放器及框架，可以播放几乎全部多媒体文件，以及 DVD、音频 CD、VCD 及各类流媒体协议的直播地址。

VLC media player的官网地址为https://www.videolan.org/，它在Github上的源码托管入口页面为https://github.com/videolan/vlc。截止2024年8月4日的Github统计，VLC media player项目的星标数为1.35万，副本数为0.5万。

除了供用户播放媒体文件之外，VLC media player还常常被开发者用来调试音视频文件格式是否正确，以及网络上的流媒体数据是否正确传输。因为凡是VLC media player无法打开的音视频文件，几乎肯定是文件内部编码或封装出了问题；凡是VLC media player无法播放的流媒体地址，几乎肯定是流媒体数据出现缺失，或是网络状况不佳。

粉丝福利，博主耗时2个月整理了一份详细的音视频开发学习路线，涵盖了音视频开发FFmmpeg、流媒体客户端、流媒体服务器、WebRTC、Android NDK开发、IOS音视频开发等等全栈技术栈，并提供了配套的免费领取C++音视频学习资料包、技术视频/代码，内容包括（FFmpeg ，WebRTC ，rtmp ，hls ，rtsp ，ffplay ，编解码，推拉流，srs流媒体服务器，音视频通话等等）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓