基于 ffmpeg 的跨平台播放器实现

最新推荐文章于 2024-08-28 07:35:02 发布

码农老K

最新推荐文章于 2024-08-28 07:35:02 发布

阅读量148

点赞数

分类专栏：音视频

本文链接：https://blog.csdn.net/lvlei19911108/article/details/116844750

版权

本文介绍了一种基于 ffmpeg 框架的跨平台播放器实现，针对 Android 和 iOS 平台，解决了原生播放器对 flv、hls 直播流支持不足的问题。通过抽象音视频解码和渲染接口，结合 ffmpeg 的跨平台特性，实现了硬解码和渲染功能，包括在 Android 上使用 MediaCodec 和 libstagefright，以及在 iOS 上使用 VideoToolbox.

摘要由CSDN通过智能技术生成

背景：

随着游戏娱乐等直播业务的增长，在移动端观看直播的需求也日益迫切。但是移动端原生的播放器对各种直播流的支持却不是很好。Android 原生的 MediaPlayer 不支持 flv、hls 直播流，iOS 只支持标准的 HLS 流。本文介绍一种基于 ffplay 框架下的跨平台播放器的实现，且兼顾硬解码的实现。

播放器原理：

直观的讲，我们播放一个媒体文件一般需要5个基本模块，按层级顺序：文件读取模块（Source）、解复用模块（Demuxer）、视频频解码模块（Decoder）、色彩空间转换模块（Color Space Converter）、音视频渲染模块（Render）。数据的流向如下图所示，其中 ffmpeg 框架包含了文件读取、音视频解复用的模块。

文件读取模块（Source）的作用是为下级解复用模块（Demuxer）以包的形式源源不断的提供数据流,对于下一级的Demuxer来说，本地文件和网络数据是一样的。在ffmpeg框架中，文件读取模块可分为3层：
- 协议层： pipe，tcp，udp，http等这些具体的本地文件或网络协议
- 抽象层：URLContext结构来统一表示底层具体的本地文件或网络协议
- 接口层用：AVIOContext结构来扩展URLProtocol结构成内部有缓冲机制的广泛意义上的文件，并且仅仅由最上层用AVIOContext对模块外提供服务，实现读媒体文件功能。
解复用模块（Demuxer）：的作用是识别文件类型，媒体类型，分离出音频、视频、字幕原始数据流，打上时戳信息后传给下级的视频频解码模块（Decoder）。可以简单的分为两层，底层是 AVIContext，TCPContext，UDPContext 等等这些具体媒体的解复用结构和相关的基础程序，上层是 AVInputFormat 结构和相关的程序。上下层之间由 AVInputFormat 相对应的 AVFormatContext 结构的 priv_data 字段关联 AVIContext 或 TCPContext 或 UDPContext 等等具体的文件格式。AVInputFormat 和具体的音视频编码算法格式由 AVFormatContext 结构的 streams 字段关联媒体格式，streams 相当于 Demuxer 的 output pin，解复用模块分离音视频裸数据通过 streams 传递给下级音视频解码器。
视频频解码模块（Decoder）的作用就是解码数据包，并且把同步时钟信息传递下去。
色彩空间转换模块（Color Spac