开发视频直播APP需要了解的技术原理和技术细节

前言：每个成功者多是站在巨人的肩膀上！在做直播开发时 碰到了很多问题，在收集了许多人博客的基础上做出来了成功的直播项目并做了整理 。

【一个完整直播app架构】

直播音视频知识点概括

---

1.采集视频、音频

1.1 采集视频、音频编码框架 
AVFoundation:AVFoundation是用来播放和创建实时的视听媒体数据的框架，同时提供Objective-C接口来操作这些视听数据，比如编辑，旋转，重编码

1.2 视频、音频硬件设备 
CCD图像传感器： 用于图像采集和处理的过程，把图像转换成电信号。
拾音器：声音传感器： 用于声音采集和处理的过程，把声音转换成电信号。
音频采样数据：一般都是PCM格式
视频采样数据:：一般都是YUV,或RGB格式，采集到的原始音视频的体积是非常大的，需要经过压缩技术处理来提高传输效率

2.视频处理（美颜，水印）

视频处理原理：因为视频最终也是通过GPU，一帧一帧渲染到屏幕上的，所以我们可以利用OpenGL ES，对视频帧进行各种加工，从而视频各种不同的效果，就好像一个水龙头流出的水，经过若干节管道，然后流向不同的目标
现在的各种美颜和视频添加特效的app都是利用GPUImage
这个框架实现的,.

视频处理框架 
GPUImage： GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果。
OpenGL：OpenGL（全写Open Graphics Library）是个定义了一个跨编程语言、跨平台的编程接口的规格，它用于三维图象（二维的亦可）。OpenGL是个专业的图形程序接口，是一个功能强大，调用方便的底层图形库。
OpenGL ES：OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三维图形 API 的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。

3.视频编码解码

3.1 视频编码框架 
FFmpeg :是一个跨平台的开源视频框架,能实现如视频编码,解码,转码,串流,播放等丰富的功能。其支持的视频格式以及播放协议非常丰富,几乎包含了所有音视频编解码、封装格式以及播放协议。

• Libswresample：可以对音频进行重采样,rematrixing 以及转换采样格式等操 作。
  

• Libavcodec：提供了一个通用的编解码框架,包含了许多视频,音频,字幕流 等编码/解码器。

• Libavformat：用于对视频进行封装/解封装。
  

• Libavutil：包含一些共用的函数,如随机数生成,数据结构,数学运算等。