RTMP协议
实时消息传输协议。
基于TCP协议簇,属于TCP/IP四层模型的应用层,是用于实现实时数据通讯的网络协议。
连接时一整条数据流封装成FLV通过HTTP提供出去,没有落地文件,基于TCP长连接,不需要多次重连。
基本头:
- 1B:CSID(唯一索引)
- 2B:1B置0,剩下一个字节表示CSID-64
- 3B:1B置1,CSID = 第一个字节的值256+第二个字节的值64
消息头:
timetamp: 3B
message-length:1B,Message总长,不是切片长
type-id:1B,实际发送数据类型,8 -> 音频,9 -> 视频
stream-id:4B,当前chunl所在的ID
扩展时间戳
块数据
最大的块至少128B,块至少携带一个字节的内容
握手
1. 过程简述
握手包含三个固定大小的块,客服端发送的三个是C0,C1,C2,服务端的三个是S0,S1,S2.
client–> server : 发送一个创建流的请求 (C0、C1)。
server–> client : 返回一个流的索引号 (S0、S1、S2)。
client–> server : 开始发送 (C2)
client–> server : 发送音视频数据(这些包用流的索引号来唯一标识)
2. 完整握手的包格式
C0、S0: 1B,RTMP的版本,一般为3。
C1、S1: time(4B)+version(4B)+digest(764B)+key(764B)
C2、S2:random-data(1504B)+ digest-data(32B)
3. 简单握手的包格式
C0、S0:
1B,RTMP的版本,一般为3,如果服务器无法识别版本号,应该回复版本3,客户端可以选择把版本降低到3,或者终止握手。
C1、S1:
time(4B):用时间戳,标识所有流段的时刻,尽可能多个流块使用相同的时间戳进行同步。
zero(4B):必须为全0。
random(1528B):可以包括任何数据,必须随机,作为后续识别的索引。
C2、S2: C1和S1的回应
time(4B):对端发送的时间戳
time2(4B):接受对端发送过来的包的时刻
random(1628B):对端发送过来的随机数
中断消息
他通讯一方将接收到的chunk-id作为当前协议有效数据,标识哪个chunk-id可以被丢弃
HLS协议
苹果公司发布的基于HTTP流媒体传输协议,原理是把直播流切片传输,每次用户可以只下载一部分,这部分可以在不同的备用源中下载(最近节点)。
基于HTTP80端口传输,很少会被防火墙拦下来。
同时,基于HTTP协议客户端按顺序下载春处在服务器的普通TS文件。
Video inputs
进行视频推流,视频源文件格式任意,协议一般RMTP。
Server
负责转码和切片。
传到服务器上的文件,转码模块将视频源中的数据转码成H264然后再stream segmenter中切片成ts文件
**Distruibution
**切片器创建一个索引文件,先下载一级Index file,里面记录了二级索引(alternate-A、Alternate-B、Alternate-C)的地址,然后客户端再去下载二级索引,二级索引中记录ts文件的下载地址。
client
通过HTTP协议播放视频。
会话模式
- 点播
可以获取到一个静态的索引文件,包含完整的资源文件地址,VOD点播拥有加密认证技术和动态切换文件传输速率的功能。 - Live
实时事件的录制展示,索引文件动态变化,需要不停地更换索引文件,移除旧的索引文件。
协议规定
- 视频的封装格式是TS、m3u8。
- 视频的编码格式为H264,音频编码格式为MP3、AAC或者AC-3。
- 除了TS视频文件本身,还定义了用来控制播放的m3u8文件(文本文件)。
m3u8文件
- #EXTM3U
每个M3U文件第一行都是这个tag,起标示作用 - #EXT-X-VERSION
标示协议版本 - #EXT-X-STREAM-INF
[,attribute = value]*
标签属性:
BANDWIDTH 指定码率
PROGRAM-ID 唯一ID
CODECS 指定编码类型 - #EXT-X-MEDIA-SEQUENCE
每个media URI在playlist中只有唯一序号,相邻之间序号相连。
几个协议的对比
协议 | 实现原理 | 延时 | 穿透性 | 跨平台 | 应用场景 |
---|---|---|---|---|---|
RMTP | TCP传输流数据 | 1-3s | 1935端口可能禁用 | 差 | 低延时的互动直播,APP端 |
HLS | 视频切片,传输ts切片文件 | 取决于切片大小,一般>10s | 高 | 好 | 非互动直播,微信端 |
HDL | 通过HTTP协议传输FLV文件 | 1-3s 好于RTMP | 高 | 差 | 低延时互动直播 |
CDN原理
流程
-
本地DNS解析URL,DNS系统将域名解析权交给CNAME指向的CDN专用DNS服务器。
-
CDN的DNS服务器将全局负载均衡设备IP返回给用户,浏览器向服务器发起访问请求
-
CDN全局负载均衡设备根据设备IP地址和URL,选择一台用户所属区域的负载均衡设备,让浏览器发起请求
-
区域负载均衡设备选择一台合适的缓存服务器提供服务:
-
- IP地址,离哪个服务器最近;
- 根据URL携带内容名称,看哪个服务器上有用户所需内容
- 服务器负载,哪台服务器还有能力
-
全局负载均衡设备把服务器的IP地址返回给用户
-
用户向缓存服务器发起请求,缓存服务响应请求,如果缓存服务器上没有内容,就要向上一级缓存服务器请求内容,直至追溯到网站的源服务器将内容拉到本地。
缓存算法
负载均衡(Nginx)
作用
主要负责对所有发起服务请求的用户进行访问调度,确定提供给用户的地址是最终地址。
两级调度体系分为全局负载均衡(GSLB)和本地负载均衡(SLB),GSLB通过对每个服务节点进行最优判断
web集群
是由多个同时运行同一个web应用的服务器组成,一般分成三大类:
高性能集群(HPC):
以提高科学计算能力为目标的集群技术
高可用集群(HA)
如果高可用集群中的某个节点发生故障,那么这段时间内将由其他节点代替它的工作。
这种集群,一般有两种工作方式
- 主-主(Active-Active)方式:
支撑用户业务的应用程序正常状态下分别在两台节点上运行,但给某一方资源系统故障时,就会将应用和相关资源切换到对方节点上。
这样不会有服务器闲置,如果故障发生,导致应用字同一台服务器上娙,可能会导致处理能力不够的情况。 - 主 - 从(Active - Standby)工作方式:
为了提高可用性,主节点处理客户机请求,备用节点处于空闲状态,当主节点出现故障时,备用节点结题工作。
这种方式,节点二能完全接管应用保证运行时的处理能力要求,但是正常工作时会造成资源浪费。
高可用扩展集群
带有负载均衡算法的服务器集群技术,每个节点都处理一部分负载,并且可以动态的分配负载。
策略
轮询
按请求时间顺序逐一分配到不同的后端你服务器,如果后端服务器down掉,自动剔除
upstream backserver{
server 192.168.0.14;
server 192.168.0.15;
}
指定权重
在轮询几率,在后端服务器性能不均的情况,weight和访问比率成正比。
upstream backserver{
server 192.168.0.14;
server 192.168.0.15;
}
ip绑定hash
每个请求按访问ip的hash结果分配,这样每个访客固定一个后端服务器
fair
按后端服务器响应时间来分配请求,响应时间短的优先
upstream backserver{
server server1;
server server2;
fair;
}
url_hash
按访问url的hash结果匹配,每个url定向到同一个后端服务器,当后端服务器为缓存的时候有效。
upstream backserver {
server squid1:3128;
server squid2:3128;
hash $request_uri;
hash_method crc32;
}
淘宝开源Nginx负载均衡框架:Tengine
服务分发
负责响应最终用户的请求,把缓存在本地的内容快速地提供给用户
推流
推流,即主播将自己本地客户端采集编码后的视频数据“推”出去,上行到流媒体服务器。
边缘推流
功能:有限将视频推流至最优CDN节点,保证用户访问的都是最佳上行网络。
中心推流
功能:通过BGP线路将视频流直接传输至直播中心进行内容分发。
拉流
服务器已有直播内容,根据协议与服务器建立连接并接收数据,进行拉取的过程。
>
音视频开发教程地址:音视频流媒体高级开发V6.0
音视频流媒体开发学习资料、教学视频,分享有需要的可以自行添加学习交流群:739729163 领取