iOS直播APP—原理篇

原文：http://www.jianshu.com/p/bd42bacbe4cc 作者：@袁峥Seemygo

一、使用的三方SDK

• 直播：七牛云
• 即时通讯：环信
• 视频滤镜：GPUImage

二、直播环节

• 推流端：采集(AVFounddation) 美颜处理(GPUImage) 编码(音频:FFmpeg,视频:X264) 推流(libremp)
• 服务端处理：转码 录制 截图 鉴黄
• 播放器： 解码(视频解码:FFmpeg 视频硬解码:VideoToolBox 音频硬解码:AudioToolBox) 渲染 播放(ijkplayer)
• 互动系统：聊天室 礼物系统 赞

三、直播APP流程

视音频采集 -> 视频滤镜 -> 视音频解码 -> 推流 -> 流媒体服务器 -> 拉流 -> 音视频解码 -> 音视频播放

四、直播app架构

五、直播APP技术点

六、了解流媒体

• 流媒体开发：压缩(编码层利用h.264和aac框架压缩音视频) -> 封装(封装层利用flv、ts封装压缩好的数据) -> 打包(协议层利用rtmp、hls打包等装好的数据) -> 传输(网络层利用socket传输打包好的数据)
• GPUImage：GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架，封装好了各种滤镜同时也可以编写自定义的滤镜，其本身内置了多达120多种常见的滤镜效果；
• FFmpeg：是一个跨平台的开源视频框架，能实现如视频编码、解码、串流、播放等丰富的功能。其支持的视频格式以及播放协议非常丰富，几乎包含了所有的音视频编解码、封装格式以及播放协议；
  
  • -Libswresample：可以对音频进行重采样，rematrixing以及转换采样格式等操作；
  • -Libavcodec：提供了一个通用的编码框架，包含了许多视频、音频、字幕流等编码/解码器；
  • -Libavformat：用于对视频进行封装/解封装；
  • -Libavutil：包含一些公共的函数，如随机数生成、数据结构、数学运算等；
  • -Libpostproc：用于视频的一些后期处理；
  • -Libswscale:用于视频图像缩放、颜色空间转换等；
  • -Libavfilter:提供滤镜功能
• 码率：图片进行压缩后，每秒显示的数据量
• 视频封装格式，又叫文件格式：一种存储视频信息的容器。流式封装可以有TS、FLV等，索引式的封装有MP4、MOV、AVI等
  
  • 一个视频的文件往往包含图像和音频，还有一些配置信息（如图像和音频的关联，如何解码他们等）：这些内容需要按照一定的规则组织、封装起来。
• 视频的编码方式：对视频进行压缩编码的方式，常见有H.264、H.263、H.265、MPEG等。封装格式和编码方式就好像项目工程和编程语言，封装格式就是一个项目的工程，编码方式就是编程语言，一个项目工程可以用不同的语言开发。
• 视频编码标准：对视频进行压缩或者解压缩的编码技术，最影响视频质量的是视频编码方式，跟封装格式没有多大关系。
• MPEG：一种视频压缩方式，它采用了帧间压缩，仅存储连续帧之间有差别的地方，从而达到比较大的压缩比。
• H.264/AVC：一种视频压缩方式，采用事先预测和与MPEG中的P-B帧一样的帧预测方法压缩，它可以根据需要产生适合网络情况传输的视频流，还有更高的压缩比，有更好的图像质量。
  
  • 单帧画面MPEG4更清晰，H.264动作更连贯
  • H.264算法复杂，对系统要求较高
  • H.264实现灵活，把一些实现留给厂商来实现，这样既带来了一些好处，同时也带来了像不同产品之间不能互通这样尴尬的事情。
• H.265/HEVC：是H.264的升级产品。
  
  • 更高效，同等画面质量下内容体积更小，传输时更快更节约带宽；
  • I帧（关键帧）：保留一幅完整的画面，解码时只需要本帧数据就可以完成；
  • P帧（差别帧）：保留这一帧跟之前帧的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面（P帧没有完整画面数据，只有与前一帧的画面差别数据）；
  • 
    
    • B帧（双向差别帧）：保留的是本帧和前后帧之间的差别，解码B帧，不仅要取得之前的缓存换面，还要解码之后的画面，通过前后画面的与本帧数据叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累；
• 帧内压缩（Intraframe）：当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，帧内一般采用有损压缩的算法；
• 帧间压缩（Interframe）：又叫时间压缩（Temporal Compression），它通过比较时间轴上不同帧之间的数据进行压缩，帧间压缩一般是无损的；
• 合成（muxing）：将视频流、音频流甚至是字幕流封到一个文件中（流式封装有FLV、TS），作为一个信号进行传输；
• 多码率：又叫码率控制，为适应观众复杂的网络环境（适应WIFI、4G、3G甚至2G），多搞几条线路，自定义码率；
• 流式封装格式TS：一种流媒体封装格式，流媒体封装有一个好处，就是不需要加载索引再播放，大大减少了首次载入的延迟。两个TS片段可以无缝拼接，播放器能连续播放；
• 流式封装格式FLV：一种流媒体封装格式，由于他形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，因此FLV格式成为了当今主流视频格式；

七、推流

1. 7.1 数据传输框架
   
   • librtmp:用来传输RTMP协议格式的数据
2. 7.2 流媒体数据传输协议
   
   • RTMP：实时消息传输协议，Adobe Systems公司为Flash播放器和服务器之间的音频、视频和数据传输开发的开放协议，因为是开放协议所以就可以使用了。
   • RTMP协议用于对象、视频、音频的传输；
   • 这个协议建立在TCP协议或者轮询HTTP协议之上；
   • RTMP协议就像一个用来包装数据包的容器，这些数据可以是FLV中的视音频数据。一个单一的链接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的；
     chunk：消息包

八、流媒体服务器

1. 8.1 常用服务器
   
   • SRS：一款国人开发的优秀开源流媒体服务器系统；
   • BMS：也是一款流媒体服务器系统，但不开源，是SRS的商业版，比SRS功能更多；
   • nginx：免费开源web服务器，常用来配置流媒体服务器；
2. 8.2 数据分发
   
   • CDN（content delivery network）：内容分发网络，将网站的内容发布到最接近用户的网络的“边缘”，使用户可以就进去的所需的内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度；CDN是代理服务器，相当于一个中介；
   • CDN工作原理：
     
     1. 上传流媒体数据到服务器（源站）；
     2. 源站存储流媒体数据；
     3. 客户端播放流媒体，向CDN请求编码后的流媒体数据；
     4. CDN的服务器响应请求，若节点上没有该流媒体数据存在，则向源站继续请求流媒体数据；若节点上已经缓存了该视频文件，则跳到第六步；
     5. 源站响应CDN，将流媒体分发到响应的CDN节点上；
     6. CDN将流媒体数据发送到客户端；
   • 回源：当有用户访问某一个URL的时候，如果被解析到的那个CDN节点没有缓存响应的内容，或者是缓存已经到期，就会回源站去获取搜索。如果没有人访问，那么CDN节点不会主动去源站拿；
   • 带宽：在固定的时间可传输的数据总量；
     
     • 比如64位、800MHz的前端总线，它的数据传输速率就等于 64bit * 800MHz / 8(byte) = 6.4GB/s
   • 负载均衡： 由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助；
     
     • 通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求；
     • 均衡负载能够平均分配客户端请求到服务器列阵，籍此提供快速获取重要数据，解决大量并发访问服务问题；
     • 这种群集技术可以用最好的投资获得接近于大型主机的性能；
   • Qos（带宽管理）：限制每一个群组的带宽，让有限的贷款发挥最大的作用；
3. 8.3 拉流
   
   • 直播协议选择:
     
     • 即时性要求较高或有互相需求的可以采用RTMP，RSTP；
     • 对于有回放或跨平台需求的，推荐使用HLS；
   • 直播协议对比:
     
   • HLS：由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容包括两部分，一是m3u8描述文件，二是TS媒体文件。可实现流媒体的直播和点播，主要应用在iOS系统；
     
     • HLS是以点播的技术方式来实现直播；
     • HLS是自适应码率流播，客户端会根据网络状况自动选择不同码率的视频流，条件允许的情况下使用高码率，网络繁忙的时候使用低码率，并且自动在二者间随意切换。这对移动设备网络状况不稳定的情况下保障流畅播放非常有帮助；
     • 实现方法是服务端提供多码率视频流，并且在列表文件中注明，播放器根据播放进度和下载速度自动调整。
   • HLS与RTMP对比：HLS主要是延时比较大，RTMP主要优势在于延时低；
     
     • HLS协议的小切片方式会生成大量的文件，存储或处理这些文件会造成大量资源浪费；
     • 相比使用RTSP协议的好处在于，一旦切分完成，之后的分发过程完全不需要额外使用任何专门软件，普通的网络服务器即可，大大降低了CDN边缘服务器的配置要求，可以使用任何现成的CDN，而一般服务器很少支持RTSP；
   • HTTP-FLV：基于HTTP协议流式的传输媒体内容。
     
     • 相对于RTMP，HTTP更简单和广为人知，内容延迟同样可以做到1-3秒，打开速度更快，因为HTTP本身没有复杂的状态机交互。所以从延迟角度来看，HTTP-FLV要优于RTMP。
   • RTSP：实时流传输协议，定义了一对多应用程序如何有效地通过IP网络传送多媒体数据；
   • RTP：实时传输协议，RTP是建立在UDP协议上的，常与RTCP一起使用，其本身并没有提供按时发送机制或其它服务质量保证，它依赖于底层服务去实现这一过程；
   • RTCP：RTP的配套协议，主要功能是为RTP所提供的服务质量提供反馈，收集相关媒体链接的统计信息，例如传输字节数，传输分组数，丢失分组数，单向和双向网络延迟等等；

八、解码

1. 8.1 解封装
   
   • demuxing(分离)：从视频流、音频流、字幕流合成的文件中，分解出视频、音频或字幕，各自进行解码；
2. 8.2 音频解码框架
   
   • fdk_aac:音频编码解码框架，PCM音频数据和AAC音频数据互转；
3. 8.3 解码介绍
   
   • 硬解码：用GPU（图形处理器）来解码，减少CPU运算
     
     • 优点：播放流畅、低功耗，解码速度快
     • 缺点：兼容不好
   • 软解码：用CPU（中央处理器）来解码
     
     • 优点：兼容好
     • 缺点：加大CPU负担，耗电增加，没有硬解码流畅，解码速度相对慢

九、播放

• ijkplayer：一个基于FFmpeg的开源Android/iOS视频播放器
  
  • API易于集成；
  • 编译配置可裁剪，方便控制安装包大小
  • 支持硬件加速解码，更加省电
  • 简单易用，指定拉流URL，自动解码播放

十、聊天互动

IM：即时通讯，是一个实时通讯系统，允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流；第三方SDK：环信；