二、FFmpeg的模块结构

[TOC]

开始前的BB

我发现 很多都是上来直接撸,撸完了发现其实还是什么都不会,自己知道ffmpeg有什么自带的东西可以参考的也不了解,那还搞个?,,脑海中没有大体的认知,很容易就迷失在细节里无法自拔,只知其术不知其道理,紧接着下一个阶段就是找大佬萌新三连

不要慌

这篇文章主要就是给大家一个大体的认知,来认识FFmpeg这个框架,由表及里,由浅入深,解开她神秘的面纱

FFmpeg框架的结构

祖传ffmpeg结构图镇楼

其中 ffplay ffmpeg ffprobe 这三个是ffmpeg里面的能编译为可执行文件的三个功能很强大的东西,这个在我们上面下载的动态库/静态库文件里的

  • ffplay: ffplay是一个非常经典的播放器实现,对于做播放器的朋友,写播放器的时候一定要要去参考,像ijkplayer 就是基于ffplay,同步等地方改动的很少,大部分改动都在显示的部分,主要是实现了解码后的yuv数据上传到opengles,以及封装音频播放的接口(AudioTrack)等。

  • ffmpeg: ffmpeg这个工具里面包含了很多功能,像轨道提取,视频裁剪,转码、水印、滤镜等功能

  • ffprobe: ffprobe是一个查看视频格式信息的工具,包括封装信息、视频信息、音频信息等

以上三个工具我们下章讲他一些常用的命令。

底层支撑库简介

除了这三个工具类外,底层的组成部分有以下几个:

avutil

avutil 核心的工具库;其他的模块都会依赖这个库,定义了一些常用的枚举,工具类(加解密、时间、日志,FIFO队列、内存分配、大小端转换等)

avformat

avformat 协议与格式库; 这个模块封装了Protocol、Demuxer、Muxer层,是ffmpeg最重要的模块之一,相当于Android中的 MediaExtracotor

avcodec

avcodec 编解码库;封装了Codec,该模块内置很多解码器,在自己的注册列表中,一些有自己的License的第三方Codec,比如X264.fdk-aac等都可以通过插件的方式添加进来

avfilter

avfilter 音视频滤镜库;提供了很多音频与视频特效处理,可以在编解码过程中直接调用该模块为音视频数据做特效处理,这个处理是利用CPU进行处理的,音频的处理一般都是比较快,影响不是特别的大 视频的处理的,,效率是没有利用OpenGL通过GPU进行处理快

avdevice

avdevice 输入输出设备库; 比如,需要编译出播放声音或者视频的ffplay,就需要确保此模块是打开状态,同时也需要SDL库的预编译,这个设备模块的播放声音与播放视频使用的都是SDL库,也包含了其他的输入/输出设备

swresample

swresample 音频冲采样模块;可以对数字音频进行声道数、采样率、位宽等多种基本信息的转换,比如将SimpleForamt为AV_SAMPLE_FMT_FLTP转换为AV_SAMPLE_FMT_S16P格式的

swscale

swscale 图像数据格式转换模块; 比如可以将YUV数据转换为RGB数据,尺寸从1920 * 1080 缩放为 800 * 480

postproc

postproc avfilter的处理会依赖该模块的一些函数

常用数据结构

  • AVFormatContext 封装格式上下文结构体,保存了视频文件封装格式相关信息
  • AVInputFormat demuxer结构体,每一种封装格式对应一个该结构体(FLV MKV MP4 AVI) AVOutpuFormat 对应muxer
  • AVStream 媒体文件中每个视频/音频流对应一个该结构体
  • AVCodecContext 编解码器上下文结构,保存了饮品是编解码相关的信息
  • AVCodec每个视频/音频编解码器对应一个结构体
  • AVPacket 储存街凤凰后的一帧压缩编码数据
  • AVFrame 储存一阵解码后的像素/采样数据

常用核心函数

主要讲 avformatavcodc两个库的比较重要的函数

avformat

  • avformat_network_init() 注册网络,初始化网络库以及网络加密协议相关的库 (openssl)
  • avformat_alloc_context() 负责申请一个AvFormatContext结构的内存,并进行简单的初始化
  • avforamt_free_context() 释放该结构体里的所有东西,以及他本身 ,通常与avformat_alloc_context()成对出现
  • avformat_close_input() 关闭解复用器,关闭后就不需要调用avforamt_free_context()进行释放,因为他内部会调用avformat_free_context()方法进行释放
  • avformat_open_input() 打开输入文件
  • avformat_find_stream_info()获取视频文件信息
  • av_read_frame() 读取音视频包AVPacket
  • avformat_seek_file() 通过文件字节进行Seek
  • av_seek_frame() 可以通过相应的格式选择Seek到关键帧还是指定帧以及字节

解复用的调用流程如下

  1. 分配一个AVFormatContext的上下文
  2. 打开视频文件
  3. 寻找到对应的流信息
  4. 循环读取流/或者在中间seek到指定的位置
  5. 结束读取,关闭流,释放空间

更详细的代码会在后面的章节中有示例代码

avcodec

  • avcodec_alloc_context3() 分配解码器的上下文
  • avcodec_find_decoder() 根据Id查找解码器
  • avcodec_find_decoder_by_name() 根据解码器名字查找解码器
  • avcodec_open2() 打开编解码器
  • avcodec_send_packet() 发送解封装后的数据包
  • avcodec_recive_frame() 接受解码后的数据
  • avcodec_free_context() 释放解码器上下文
  • avcodec_close()关闭解码器

解码器的调用流程如下

  1. 分配一个AVCodecContext
  2. 将AVStream里的Codec的参数传递到AVCodecContext
  3. 根据Id或者名字寻找的相应的解码器
  4. 打开解码器
  5. 发送AVPacket(解封装的数据) ---> 接受到解码后的数据(YUV/PCM)
  6. 关闭解码器,释放AVCodecContext

关于FFmpeg的核心的结构体与函数,以及相应的解复用/解码的流程先了解这么多,有个大概的印象,我们在后面的文章里,就会慢慢体会到他们带来的无穷快感

一袋米要抗几楼 (痛みを感じるようにしましょう) 的佩恩警告⚠️ (づ。◕‿‿◕。)づ

未完持续。。。

转载于:https://juejin.im/post/5cad71926fb9a068b7489db5

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值