ffmpeg基础

解封装.png

ffmpeg的功能主要有两方面：

• 解封装
• 解码

FFmpeg核心模块

• libavutil
  ​ 核心工具库，该模块是最基础的模块之一，下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。
• libavformat
  用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能；音视频的格式解析协议，为 libavcodec 分析码流提供独立的音频或视频码流源。
• libavcodec
  用于各种类型声音/图像编解码；该库是音视频编解码核心，实现了市面上可见的绝大部分解码器的功能，libavcodec 库被其他各大解码器 ffdshow，Mplayer 等所包含或应用。封装了Codec层，但是有一些Codec是具备自己的License的，FFmpeg是不会默认添加像libx264、FDK-AAC、lame等库的，但是FFmpeg就像一个平台一样，可以将其他的第三方的Codec以插件的方式添加进来，然后为开发者提供统一的接口。
• libavfilter
  ​ filter（FileIO、FPS、DrawText）音视频滤波器的开发，如水印、倍速播放等。音视频滤镜库，该模块提供了包括音频特效和视频特效的处理，在使用FFmpeg的API进行编解码的过程中，直接使用该模块为音视频数据做特效处理是非常方便同时也非常高效的一种方式。
• libswresample
  ​ 原始音频格式转码。该模块可用于音频重采样，可以对数字音频进行声道数、数据格式、采样率等多种基本信息的转换。
• libswscale
  该模块是将图像进行格式转换的模块，比如，可以将YUV的数据转换为RGB的数据，（原始视频格式转换）用于视频场景比例缩放、色彩映射转换；图像颜色空间或格式转换，如 rgb565,rgb888 等与 yuv420 等之间转换。

安装结束之后，进入到prefix指定的目录下查看，具体会看到如下几个目录。

• include：编译结束的头文件都存放在该目录下面，如果要以编写代码的方式调用FFmpeg的API去完成工作（这也是后面会介绍的内容），就需要把include中的目录放到includes的配置中（Android下的makefile文件）。

• lib：其中存放的是编译出来的静态库文件，其在以编写代码的方式调用FFmpeg的API时会使用到，在编译阶段会使用到上一步提到的include目录，而在链接阶段则会使用到这个lib目录下面的静态库了。

• share：该目录中存放了一些examples，其中展示了如何使用代码的方式调用FFmpeg的API，其实可以切换到configure脚本所在的目录，然后执行make examples命令及make install，再到doc下面的example里找到对应的二进制文件，这样就可以进行调试或者写出自己的测试程了。

统一下术语，具体如下。

• 容器／文件（Conainer/File）：即特定格式的多媒体文件，比如MP4、flv、mov等。
• 媒体流（Stream）：表示时间轴上的一段连续数据，如一段声音数据、一段视频数据或一段字幕数据，可以是压缩的，也可以是非压缩的，压缩的数据需要关联特定的编解码器。
• 数据帧／数据包（Frame/Packet）：通常，一个媒体流是由大量的数据帧组成的，对于压缩数据，帧对应着编解码器的最小处理单元，分属于不同媒体流的数据帧交错存储于容器之中。
• 编解码器：编解码器是以帧为单位实现压缩数据和原始数据之间的相互转换的。