音视频基础（1）音视频处理流程

音视频基础（1）音视频处理流程

理解音频处理流程对我们做音视频开发至关重要，因为理解了这个处理流程之后，我们就知道，在整个音频的处理过程中，它会经历哪几个步骤，对于每个步骤它又会做哪些事情。通过这些知识的讲解，我们就会对整个大的方向是什么，有个大致的理解。

1. 概要

2. 音频处理流程

3. 视频处理流程

4. 直播客户端处理流程

我们讲解的音视频都是基于娱乐直播进行讲解的，所以我们必须对整个流程非常清楚。下面我们就来学习一下直播客户端的处理流程。

如下图，是一个基本的直播客户端的处理流程图：

直播客户端分为几个模块，我们需要对每个模块做的事情非常清楚。总的来说我们直播客户端分为两个端：共享端和观看端。

其中共享端又包含：音视频采集，音视频编码两个模块

观看端有包含：音视频解码，音视频渲染两个模块。

具体来说：

• 音视频采集：音频采集一般我们只需要简单调用一下api就能实现，每个操作系统都提供了相对于的api, 只是对于不同的平台各不相同。如Android端有audioRecord, mediaRecord等，我们什么时候使用audioRecord,什么时候使用MediaRecord,这个我们需要非常清楚它的应用场景。同样在IOS 端有苹果提供的AVFoundation框架提供了很多音视频采集的方法，其中有很常用的底层方法AudioUnit。我们后面都需要详细学习这块，并实践。
• 音视频编码：我们采集到音视频之后并不能直接传输，因为这个数据太大了，超出了我们网路的设备的负载。如果我们直接传输这么大量的数据，很容易出现各种问题，因此我们必须对这些数据进行压缩后再进行传输，这个压缩的过程就是对音视频的编码处理。编码后的数据就是非常小的数据了。对于编码这块的知识也非常多，我们后续也会详细讲解。编码分为有损编码和无损编码。我们什么时候用有损编码，什么时候使用无损编码？ 有损编码去掉的是哪些数据？这些原理我们都需要很清楚明白。
• 音视频传输：编码时候，我们就需要把数据传输到对端，这个传输的过程也是非常复杂的，需要对网络知识有个较好的理解。后续我也讲到这些。
• 音视频解码：对端收到传输的数据后，需要对编码的数据进行解码，把压缩的数据还原后才能进行播放渲染。解码这块是跟编码相对应的，用什么方式编码，就需要用对应的方式解码。
• 音视频渲染：

5. 音频数据流转

我们需要知道我们采集数据后，采集的是什么数据，是PCM数据 。然后经过编码之后，编码出的是什么格式的数据。这都是我们需要理解的。

如下图是音频数据流的流转过程：