ffmpeg---音视频基本概念介绍

ffmpeg—音视频基本概念

编码(encode)：通过特定的压缩技术，将某个视频的视频流格式转换为另一种视频格式的视频流方式。是一种减少字节的算法。

解码(decode)：通过特定的解压缩技术，将某个视频格式的视频流转换成另一种视频格式的视频流方式。对经过encode的数据进行还原的一种算法。

转码(transcode)：视频转码技术将视频信号从一种格式转换为另一种格式。

一：编码

​ 编码是针对图片序列而言的，当有一张图片时，并不需要编码。如果有一堆连续图片，则会形成图片流，如果编码的方式为H264，则称经过编码的数据为264流。

1. 视频

   YUV420/422---->H264

   RGB888---->H264

   YUV---->H263

   其中，左边的都为图片的输入，右边为编码的方式。

2. 音频

   PCM(原始)---->AAC

   PCM(原始)---->G726

   PCM(原始)---->G711

二：转码

1. 视频

   改变分辨率(resolution)

   改变帧率(frame rate)

   改变比特率等编码参数

2. 音频

   改变采样率(sample rate)

   改变通道数(channels)

   改变位宽(sample format)

三：封装于解封装

​ 封装(mux)：复用，按一定格式组织原始音视频流

​ 解封装(demux)：解复用，按一定格式解析出原始音视频流

​ 常用封装方式：

​ MP4封装：H264视频编码 + AAC音频编码 (推荐)

​ WebM封装：VP8视频编码 + Vorbis音频编码 —> 谷歌方案，优酷使用

​ OGG封装：Theora视频编码 + Vorbis音频编码 —> 开源

四：流

1. ES流

   原始流，直接从编码器出来的流

2. PES流

   ES形成的分组称为PES分组，是用来传递ES的一种数据布局

3. TS流

   ES形成的分组称为TS分组，是用来传递ES的一种数据布局

4. rtsp流

   RTSP(Real Time Streaming Protocol)，RFC2326，实时流传输协议，是TCP/IP协议体系中的一个应用层协议

5. rtmp流

   RTMP(Real Time Messaging Protocol)，实时消息传输协议，是adobe公司的协议

6. hls流

   HLS是Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u8索引文件，TS媒体分片文件。

五：组成

1. 服务端

   服务端是为客户端服务的，为客户端提供资源，保存客户端数据

2. 客户端

   也可以称为用户端，于服务端相对应，为客户提供本地服务的程序

3. 流媒体

   采用流式传输方式在Internet播放的媒体格式

4. 推模式

   当通知消息来之时，把所有相关消息都通过参数的形式推给观察者

5. 拉模式

   当通知消息来之时，通知的函数不带任何相关的信息，而实要观察者主动去拉信息

6. 实时流

   Real Time stream 实时传输的音视频流