音视频开发的技术流

音视频开发包括哪些内容

其实说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

采集：它解决的是，数据从哪里来的问题
渲染：它解决的是，数据怎么展现的问题
处理：它解决的是，数据怎么加工的问题
传输：它解决的是，数据怎么共享的问题

每一个门类，都可以深挖，衍生出一个又一个充满技术挑战的话题，比如：如何更高效地渲染画面、如何提高音视频的压缩比，如何优化弱网下的音视频数据传输等等。

1 采集

采集，它解决的是，数据从哪里来的问题，那么，数据究竟从哪里来的呢 ？

其实无论在哪个平台，图像、视频最初都是来自摄像头，而音频最初都是来自麦克风，因此，做音视频采集，就要掌握如下的技术知识：

a. 系统的摄像头采集接口是什么，怎么用？

比如：

Windows：DirectShow 
Linux：V4L2 
Android：Camera 
iOS：AVCaptureSession

b. 系统的摄像头采集的参数怎么配置，都是什么含义 ？

比如：分辨率、帧率、预览方向、对焦、闪光灯 等

c. 系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别 ？

比如：

图片：JPEG； 
视频数据：NV21，NV12，I420 等

d. 系统的麦克风采集接口是什么，怎么用 ？

比如：

Windows：DirectShow 
Linux：ALSA & OSS 
Android：AudioRecord 
iOS：Audio Unit

e. 系统的麦克风采集参数怎么配置，都是什么含义 ？

比如：

采样率、通道号、位宽等

f. 系统的麦克风输出的音频数据，是什么格式？

比如：

PCM 

2 渲染

渲染，它解决的是，数据怎么展现的问题，那么，数据究竟怎么展现呢 ？

其实无论在哪个平台，图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识：

a. 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ？

比如：

Windows：DirectDraw, Direct3D, GDI，OpenGL 等 
Linux： GDI， OpenGL 等 
Android：ImageView，SurfaceView，TextureView，OpenGL 等 
iOS： CoreGraphics，OpenGL 等

b. 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ？

比如：

Windows：DirectSound 等 
Linux：ALSA & OSS 等 
Android：AudioTrack 等 
iOS： AudioQueue 等

3 处理

处理，它解决的是，数据怎么加工的问题，那么，数据究竟可以怎么加工呢 ？

首先，我们看看图像/音视频的数据可以做哪些加工 ？

其实无论在哪个平台，图像和音视频的加工，除了系统的 API，大多数都会依赖一些跨平台的第三方库的，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了，这些库包括但不限于：

a. 图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等 
b. 视频编解码：x264，OpenH264，ffmpeg 等 
c. 音频处理：speexdsp，ffmpeg 等 
d.音频编解码：libfaac，opus，speex，ffmpeg 等

因此，学习和掌握这些第三方库的使用，非常有必要。

2.4 传输

传输，它解决的是，数据怎么共享的问题，那么，数据究竟怎么共享呢 ？

共享，最重要的一点，就是协议。

我觉得互联网之所以能够如此蓬勃地发展，将整个世界都紧密联系在一起，其实是离不开 W3C 这个委员会的巨大贡献的，因为无论什么数据，要想在不同的国家、不同设备之间互联互通，离不开 “标准”，有了 “标准”，大家就能互相读懂对方。

因此，研究音视频传输，其实就是在研究协议，具体有哪些协议呢 ？

a. 音视频在传输前，怎么打包的，如：FLV，ts，mpeg4 等 
b. 直播推流，有哪些常见的协议，如：RTMP，RSTP 等 
c. 直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等 
d. 基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等

 

视频从产生到被消费的整个流程

(1)基本认知：视频是由单帧图像以每秒x帧的速率连续组成的，单帧图像类似位图。
(2)原始视频产生：镜头和sensor
(3)图像处理：ISP（image signal processing）
(4)视频编码压缩：h.264/h.265压缩算法，运算，内置DSP进行压缩运算的。
(5)视频流传输：网络传输、http/rtsp等
(6)视频存储：打包成MP4等格式存储，等待调阅
(7)视频回放：解码+播放

视频行业的商业角度分段

(1)主芯片商、sensor、镜头等分立原件厂商
(2)模组厂商
(3)视频服务器厂商，类似大拿这种
(4)面向解决方案的方案开发商
(5)工程商或销售商