原文:http://www.jianshu.com/p/bd42bacbe4cc 作者:@袁峥Seemygo
一、使用的三方SDK
- 直播:七牛云
- 即时通讯:环信
- 视频滤镜:GPUImage
二、直播环节
- 推流端:采集(AVFounddation) 美颜处理(GPUImage) 编码(音频:FFmpeg,视频:X264) 推流(libremp)
- 服务端处理:转码 录制 截图 鉴黄
- 播放器: 解码(视频解码:FFmpeg 视频硬解码:VideoToolBox 音频硬解码:AudioToolBox) 渲染 播放(ijkplayer)
- 互动系统:聊天室 礼物系统 赞
三、直播APP流程
视音频采集 -> 视频滤镜 -> 视音频解码 -> 推流 -> 流媒体服务器 -> 拉流 -> 音视频解码 -> 音视频播放
四、直播app架构
五、直播APP技术点
六、了解流媒体
- 流媒体开发:压缩(编码层利用h.264和aac框架压缩音视频) -> 封装(封装层利用flv、ts封装压缩好的数据) -> 打包(协议层利用rtmp、hls打包等装好的数据) -> 传输(网络层利用socket传输打包好的数据)
- GPUImage:GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果;
- FFmpeg:是一个跨平台的开源视频框架,能实现如视频编码、解码、串流、播放等丰富的功能。其支持的视频格式以及播放协议非常丰富,几乎包含了所有的音视频编解码、封装格式以及播放协议;
- -Libswresample:可以对音频进行重采样,rematrixing以及转换采样格式等操作;
- -Libavcodec:提供了一个通用的编码框架,包含了许多视频、音频、字幕流等编码/解码器;
- -Libavformat:用于对视频进行封装/解封装;
- -Libavutil:包含一些公共的函数,如随机数生成、数据结构、数学运算等;
- -Libpostproc:用于视频的一些后期处理;
- -Libswscale:用于视频图像缩放、颜色空间转换等;
- -Libavfilter:提供滤镜功能
- 码率:图片进行压缩后,每秒显示的数据量
- 视频封装格式,又叫文件格式:一种存储视频信息的容器。流式封装可以有TS、FLV等,索引式的封装有MP4、MOV、AVI等
- 一个视频的文件往往包含图像和音频,还有一些配置信息(如图像和音频的关联,如何解码他们等):这些内容需要按照一定的规则组织、封装起来。
- 视频的编码方式:对视频进行压缩编码的方式,常见有H.264、H.263、H.265、MPEG等。封装格式和编码方式就好像项目工程和编程语言,封装格式就是一个项目的工程,编码方式就是编程语言,一个项目工程可以用不同的语言开发。
- 视频编码标准:对视频进行压缩或者解压缩的编码技术,最影响视频质量的是视频编码方式,跟封装格式没有多大关系。
- MPEG:一种视频压缩方式,它采用了帧间压缩,仅存储连续帧之间有差别的地方,从而达到比较大的压缩比。
- H.264/AVC:一种视频压缩方式,采用事先预测和与MPEG中的P-B帧一样的帧预测方法压缩,它可以根据需要产生适合网络情况传输的视频流,还有更高的压缩比,有更好的图像质量。
- 单帧画面MPEG4更清晰,H.264动作更连贯
- H.264算法复杂,对系统要求较高
- H.264实现灵活,把一些实现留给厂商来实现,这样既带来了一些好处,同时也带来了像不同产品之间不能互通这样尴尬的事情。
- H.265/HEVC:是H.264的升级产品。
- 更高效,同等画面质量下内容体积更小,传输时更快更节约带宽;
- I帧(关键帧):保留一幅完整的画面,解码时只需要本帧数据就可以完成;
- P帧(差别帧):保留这一帧跟之前帧的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面(P帧没有完整画面数据,只有与前一帧的画面差别数据);
-
- B帧(双向差别帧):保留的是本帧和前后帧之间的差别,解码B帧,不仅要取得之前的缓存换面,还要解码之后的画面,通过前后画面的与本帧数据叠加取得最终的画面。B帧压缩率高,但是解码时CPU会比较累;
- 帧内压缩(Intraframe):当压缩一帧图像时,仅考虑本帧的数据而不考虑相邻帧之间的冗余信息,帧内一般采用有损压缩的算法;
- 帧间压缩(Interframe):又叫时间压缩(Temporal Compression),它通过比较时间轴上不同帧之间的数据进行压缩,帧间压缩一般是无损的;
- 合成(muxing):将视频流、音频流甚至是字幕流封到一个文件中(流式封装有FLV、TS),作为一个信号进行传输;
- 多码率:又叫码率控制,为适应观众复杂的网络环境(适应WIFI、4G、3G甚至2G),多搞几条线路,自定义码率;
- 流式封装格式TS:一种流媒体封装格式,流媒体封装有一个好处,就是不需要加载索引再播放,大大减少了首次载入的延迟。两个TS片段可以无缝拼接,播放器能连续播放;
- 流式封装格式FLV:一种流媒体封装格式,由于他形成的文件极小、加载速度极快,使得网络观看视频文件成为可能,因此FLV格式成为了当今主流视频格式;
七、推流
- 7.1 数据传输框架
- librtmp:用来传输RTMP协议格式的数据
- 7.2 流媒体数据传输协议
- RTMP:实时消息传输协议,Adobe Systems公司为Flash播放器和服务器之间的音频、视频和数据传输开发的开放协议,因为是开放协议所以就可以使用了。
- RTMP协议用于对象、视频、音频的传输;
- 这个协议建立在TCP协议或者轮询HTTP协议之上;
- RTMP协议就像一个用来包装数据包的容器,这些数据可以是FLV中的视音频数据。一个单一的链接可以通过不同的通道传输多路网络流,这些通道中的包都是按照固定大小的包传输的;
chunk:消息包
八、流媒体服务器
- 8.1 常用服务器
- SRS:一款国人开发的优秀开源流媒体服务器系统;
- BMS:也是一款流媒体服务器系统,但不开源,是SRS的商业版,比SRS功能更多;
- nginx:免费开源web服务器,常用来配置流媒体服务器;
- 8.2 数据分发
- CDN(content delivery network):内容分发网络,将网站的内容发布到最接近用户的网络的“边缘”,使用户可以就进去的所需的内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度;CDN是代理服务器,相当于一个中介;
- CDN工作原理:
- 上传流媒体数据到服务器(源站);
- 源站存储流媒体数据;
- 客户端播放流媒体,向CDN请求编码后的流媒体数据;
- CDN的服务器响应请求,若节点上没有该流媒体数据存在,则向源站继续请求流媒体数据;若节点上已经缓存了该视频文件,则跳到第六步;
- 源站响应CDN,将流媒体分发到响应的CDN节点上;
- CDN将流媒体数据发送到客户端;
- 回源:当有用户访问某一个URL的时候,如果被解析到的那个CDN节点没有缓存响应的内容,或者是缓存已经到期,就会回源站去获取搜索。如果没有人访问,那么CDN节点不会主动去源站拿;
- 带宽:在固定的时间可传输的数据总量;
- 比如64位、800MHz的前端总线,它的数据传输速率就等于 64bit * 800MHz / 8(byte) = 6.4GB/s
- 负载均衡: 由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其他服务器的辅助;
- 通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地回应客户的请求;
- 均衡负载能够平均分配客户端请求到服务器列阵,籍此提供快速获取重要数据,解决大量并发访问服务问题;
- 这种群集技术可以用最好的投资获得接近于大型主机的性能;
- Qos(带宽管理):限制每一个群组的带宽,让有限的贷款发挥最大的作用;
- 8.3 拉流
- 直播协议选择:
- 即时性要求较高或有互相需求的可以采用RTMP,RSTP;
- 对于有回放或跨平台需求的,推荐使用HLS;
- 直播协议对比:
- HLS:由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现,传输内容包括两部分,一是m3u8描述文件,二是TS媒体文件。可实现流媒体的直播和点播,主要应用在iOS系统;
- HLS是以点播的技术方式来实现直播;
- HLS是自适应码率流播,客户端会根据网络状况自动选择不同码率的视频流,条件允许的情况下使用高码率,网络繁忙的时候使用低码率,并且自动在二者间随意切换。这对移动设备网络状况不稳定的情况下保障流畅播放非常有帮助;
- 实现方法是服务端提供多码率视频流,并且在列表文件中注明,播放器根据播放进度和下载速度自动调整。
- HLS与RTMP对比:HLS主要是延时比较大,RTMP主要优势在于延时低;
- HLS协议的小切片方式会生成大量的文件,存储或处理这些文件会造成大量资源浪费;
- 相比使用RTSP协议的好处在于,一旦切分完成,之后的分发过程完全不需要额外使用任何专门软件,普通的网络服务器即可,大大降低了CDN边缘服务器的配置要求,可以使用任何现成的CDN,而一般服务器很少支持RTSP;
- HTTP-FLV:基于HTTP协议流式的传输媒体内容。
- 相对于RTMP,HTTP更简单和广为人知,内容延迟同样可以做到1-3秒,打开速度更快,因为HTTP本身没有复杂的状态机交互。所以从延迟角度来看,HTTP-FLV要优于RTMP。
- RTSP:实时流传输协议,定义了一对多应用程序如何有效地通过IP网络传送多媒体数据;
- RTP:实时传输协议,RTP是建立在UDP协议上的,常与RTCP一起使用,其本身并没有提供按时发送机制或其它服务质量保证,它依赖于底层服务去实现这一过程;
- RTCP:RTP的配套协议,主要功能是为RTP所提供的服务质量提供反馈,收集相关媒体链接的统计信息,例如传输字节数,传输分组数,丢失分组数,单向和双向网络延迟等等;
- 直播协议选择:
八、解码
- 8.1 解封装
- demuxing(分离):从视频流、音频流、字幕流合成的文件中,分解出视频、音频或字幕,各自进行解码;
- 8.2 音频解码框架
- fdk_aac:音频编码解码框架,PCM音频数据和AAC音频数据互转;
- 8.3 解码介绍
- 硬解码:用GPU(图形处理器)来解码,减少CPU运算
- 优点:播放流畅、低功耗,解码速度快
- 缺点:兼容不好
- 软解码:用CPU(中央处理器)来解码
- 优点:兼容好
- 缺点:加大CPU负担,耗电增加,没有硬解码流畅,解码速度相对慢
- 硬解码:用GPU(图形处理器)来解码,减少CPU运算
九、播放
- ijkplayer:一个基于FFmpeg的开源Android/iOS视频播放器
- API易于集成;
- 编译配置可裁剪,方便控制安装包大小
- 支持硬件加速解码,更加省电
- 简单易用,指定拉流URL,自动解码播放
十、聊天互动
IM:即时通讯,是一个实时通讯系统,允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流;第三方SDK:环信;