ONVIF专题--RTSP

1 RTSP简介

RTSP（Real Time Streaming Protocol）是由Real Network和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP对流媒体提供了诸如暂停，快进等控制，而它本身并不传输数据，RTSP的作用相当于流媒体服务器的远程控制。服务器端可以自行选择使用TCP或UDP来传送串流内容，它的语法和运作跟HTTP 1.1类似，但并不特别强调时间同步，所以比较能容忍网络延迟。而且允许同时多个串流需求控制（Multicast），除了可以降低服务器端的网络用量，还可以支持多方视频会议（Video  onference）。 因为与HTTP1.1的运作方式相似，所以代理服务器《Proxy》的快取功能《Cache》也同样适用于RTSP，并因RTSP具有重新导向功能，可视实际负载情况来转换提供服务的服务器，以避免过大的负载集中于同一服务器而造成延迟。

1.1 rtsp和http的区别和联系

    （1）联系：两者都用纯文本来发送消息，且rtsp协议的语法也和HTTP类似。Rtsp一开始这样设计，也是为了能够兼容使用以前写的HTTP协议分析代码 。

    （2）区别：rtsp是有状态的，不同的是RTSP的命令需要知道现在正处于一个什么状态，也就是说rtsp的命令总是按照顺序来发送，某个命令总在另外一个命令之前要发送。Rtsp不管处于什么状态都不会去断掉连接。，而http则不保存状态，协议在发送一个命令以后，连接就会断开，且命令之间是没有依赖性的。rtsp协议使用554端口，http使用80端口。

1.2 rtsp和sip的区别和联系

SIP（Session Initiation Protocol），是基于IP的一个应用层控制协议。由于SIP是基于纯文本的信令协议，可以管理不同接入网络上的会话等。会话可以是终端设备之间任何类型的通信，如视频会话、既时信息处理或协作会话。该协议不会定义或限制可使用的业务，传输、服务质量、计费、安全性等问题都由基本核心网络和其它协议处理。

    （1）联系：sip和rtsp都是应用层的控制协议，负责一次通信过程的建立和控制和结束，不负责中间的传输部分。他们都是基于纯文本的信令协议，穿墙性能良好。支持tcp、udp，支持多方通信。他们都需要服务器支持，都支持会话中重定向。sip和rtsp 都使用sdp协议来传送媒体参数，使用rtp（rtcp）协议来传输媒体流。

    （2）区别：rtsp是专门为流媒体制定的协议，在多个媒体流的时间同步方面比sip强大。rtsp还提供网络负载均衡的功能，减轻服务器压力和网络带宽要求。sip一般用来创建一次音频、视频通话（双向），而rtsp一般用来做视频点播、视频监控等（单向）。当然，从原理上讲，rtsp也可以做双向的视频通话。

1.3 RTSP和RTP（rtcp）的关系

rtsp负责建立和控制会话，rtp负责多媒体的传输，rtcp配合rtp做控制和流量统计，他们是合作的关系。

RTSP的消息

       RTSP的消息有两大类，一是请求消息(request)，一是回应消息(response)，两种消息的格式不同。

请求消息格式：

       方法 URI RTSP版本 CR LF

       消息头 CR LF CR LF        

       消息体 CR LF

其中方法包括OPTIONS、SETUP、PLAY、TEARDOWN等，URI是接收方（服务端）的地址，例如：rtsp://192.168.22.136:5000/v0，每行后面的CR LF表示回车换行，需要接收端有相应的解析，最后一个消息头需要有两个CR LF。

回应消息格式：

       RTSP版本 状态码 解释 CR LF

       消息头 CR LF CR LF

       消息体 CR LF

其中RTSP版本一般都是RTSP/1.0，状态码是一个数值，200表示成功，解释是与状态码对应的文本解释。

状态码由三位数组成，表示方法执行的结果，定义如下：

1XX：保留，将来使用；

2XX：成功，操作被接收、理解、接受（received,understand,accepted）；

3XX：重定向，要完成操作必须进行进一步操作；

4XX：客户端出错，请求有语法错误或无法实现；

5XX：服务器出错，服务器无法实现合法的请求。

 

1.4 附：RTSP、RTP & RTCP、SRTP & SRTCP、PS、TS、H.264关系

RTP：实时传输协议（Real-time Transport Protocol） 总称，整个RTP协议由两个密切相关的部分组成：RTP数据协议和RTP控制协议（即RTCP）

RTP/RTCP是实际传输数据的协议，RTP传输音频/视频数据，如果是PLAY，Server发送到Client端，如果是RECORD，可以由Client发送到Server

RTSP：实时流协议（Real Time Streaming Protocol，RTSP）顾名思义可以知道起对话和控制作用、RTSP的对话过程中SETUP可以确定RTP/RTCP使用的端口，PLAY/PAUSE/TEARDOWN可以开始或者停止RTP的发送等。

SRTP & SRTCP: 安全实时传输协议（Secure Real-time Transport Protocol或SRTP）是在实时传输协议（Real-time Transport Protocol或RTP）基础上所定义的一个协议，旨在为单播和多播应用程序中的实时传输协议的数据提供加密、消息认证、完整性保证和重放保护。它是由David Oran（思科）和Rolf Blom（爱立信）开发的，并最早由IETF于2004年3月作为RFC 3711发布。

PS/TS是ES流(Elementary Stream 媒体码流)数据的网络封装，（PS是变长、TS定长）是RTP包中的数据荷载，PS/TS数据中，带有视音频同步显示、解码器等参数，所以这一级的协议数据需要播放器解析。

H264: 视频编码格式，PS包中的实际封装的数据。类似的还有音频编码格式，图片编码格式都可以作为PS\TS封装中的实际数据。

2 RTSP方法

rtsp中定义的方法有：OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, SCALE, GET_PARAMETER, SET_PARAMETER

2.1 OPTION

目的是获取服务器/客户端支持的能力集:

OPTIONS rtsp://192.168.20.136:5000/xxx666 RTSP/1.0 CSeq: 1         //每个消息都有序号来标记，第一个包通常是option请求消息 User-Agent: VLC media player (LIVE555 Streaming Media v2005.11.10)

服务器的回应信息包括提供的一些方法,例如:

RTSP/1.0 200 OK Server: UServer 0.9.7_rc1 Cseq: 1         //每个回应消息的cseq数值和请求消息的cseq相对应 Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, SCALE, GET_PARAMETER //服务器提供的可用方法

2.2 DESCRIBE

C向S发起DESCRIBE请求,为了得到会话描述信息(SDP):

DESCRIBE rtsp://192.168.20.136:5000/xxx666 RTSP/1.0 CSeq: 2 token: Accept: application/sdp User-Agent: VLC media player (LIVE555 Streaming Media v2005.11.10)

服务器回应一些对此会话的描述信息(sdp):

关键字段：
Content-Type：一般是SDP
Content-length：一般是SDP的长度

RTSP/1.0 200 OK Server: UServer 0.9.7_rc1 Cseq: 2 x-prev-url: rtsp://192.168.20.136:5000 x-next-url: rtsp://192.168.20.136:5000 x-Accept-Retransmit: our-retransmit x-Accept-Dynamic-Rate: 1 Cache-Control: must-revalidate Last-Modified: Fri, 10 Nov 2006 12:34:38 GMT Date: Fri, 10 Nov 2006 12:34:38 GMT Expires: Fri, 10 Nov 2006 12:34:38 GMT Content-Base: rtsp://192.168.20.136:5000/xxx666/ Content-Length: 344 Content-Type: application/sdp v=0        //以下都是sdp信息 o=OnewaveUServerNG 1451516402 1025358037 IN IP4 192.168.20.136 s=/xxx666 u=http:/// e=admin@ c=IN IP4 0.0.0.0 t=0 0 a=isma-compliance:1,1.0,1 a=range:npt=0- m=video 0 RTP/AVP 96    //m表示媒体描述，下面是对会话中视频通道的媒体描述 a=rtpmap:96 MP4V-ES/90000 a=fmtp:96 profile-level-id=245;config=000001B0F5000001B509000001000000012000C888B0E0E0FA62D089028307 a=control:trackID=0//trackID＝0表示视频流用的是通道0

sdp的格式：

v=<version> o=<username> <session id> <version> <network type> <address type> <address> s=<session name> i=<session description> u=<URI> e=<email address> p=<phone number> c=<network type> <address type> <connection address> b=<modifier>:<bandwidth-value> t=<start time> <stop time> r=<repeat interval> <active duration> <list of offsets from start-time> z=<adjustment time> <offset> <adjustment time> <offset> .... k=<method> k=<method>:<encryption key> a=<attribute> a=<attribute>:<value> m=<media> <port> <transport> <fmt list> v = （协议版本） o = （所有者/创建者和会话标识符） s = （会话名称） i = * （会话信息） u = * （URI 描述） e = * （Email 地址） p = * （电话号码） c = * （连接信息） b = * （带宽信息） z = * （时间区域调整） k = * （加密密钥） a = * （0 个或多个会话属性行） 时间描述： t = （会话活动时间） r = * （0或多次重复次数） 媒体描述： m = （媒体名称和传输地址） i = * （媒体标题） c = * （连接信息 — 如果包含在会话层则该字段可选） b = * （带宽信息） k = * （加密密钥） a = * （0 个或多个媒体属性行）

2.3 SETUP

关键字段：
Transport——传输方式
Transport: MP2T/RTP/UDP;unicast;destination=121.60.21.53;client_port=8342-8343,MP2T/RTP/TCP;unicast;destination=121.60.21.53;interleaved=0-1

客户端提醒服务器建立会话,并确定传输模式:

SETUP rtsp://192.168.20.136:5000/xxx666/trackID=0 RTSP/1.0    CSeq: 3 Transport: RTP/AVP/TCP;unicast;interleaved=0-1      User-Agent: VLC media player (LIVE555 Streaming Media v2005.11.10)

uri中带有trackID＝0，表示对该通道进行设置。Transport参数设置了传输模式，包的结构。接下来的数据包头部第二个字节位置就是interleaved，它的值是每个通道都不同的，trackID＝0的interleaved值有两个0或1，0表示rtp包，1表示rtcp包，接受端根据interleaved的值来区别是哪种数据包。

服务器回应信息:

RTSP/1.0 200 OK Server: UServer 0.9.7_rc1 Cseq: 3 Session: 6310936469860791894     //服务器回应的会话标识符 Cache-Control: no-cache Transport: RTP/AVP/TCP;unicast;interleaved=0-1;ssrc=6B8B4567

 示例：

2.4 PLAY

关键字段：
Range——播放时间
Range: npt=0.0-end
Range:clock=20100318T021919.35Z-20100318T031919.80Z
Scale——播放速度
Scale: 1.0

相对时间描述——npt(normalplay time)
方法1 位置描述
beginning      节目起始点
now               当前播放点
end                节目结束点

方法2 时间描述
直接用数字形式表示与起始点的时间
绝对时间描述——clock
ISO 8601时间戳标准

客户端发送播放请求:

PLAY rtsp://192.168.20.136:5000/xxx666 RTSP/1.0 CSeq: 4 Session: 6310936469860791894 Range: npt=0.000-end    //设置播放时间的范围 User-Agent: VLC media player (LIVE555 Streaming Media v2005.11.10)

服务器回应信息:

RTSP/1.0 200 OK Server: UServer 0.9.7_rc1 Cseq: 4 Session: 6310936469860791894 Range: npt=0.000000- RTP-Info: url=trackID=0;seq=17040;rtptime=1467265309

seq和rtptime都是rtp包中的信息

 示例：

2.5 TEARDOWN

客户端发起关闭请求:

TEARDOWN rtsp://192.168.20.136:5000/xxx666 RTSP/1.0 CSeq: 5 Session: 6310936469860791894 User-Agent: VLC media player (LIVE555 Streaming Media v2005.11.10)

服务器回应:

RTSP/1.0 200 OK Server: UServer 0.9.7_rc1 Cseq: 5 Session: 6310936469860791894 Connection: Close

示例：

2.6 PAUSE

暂停流媒体播放

关键字段：无从服务器获取参数，目前主要获取时间范围
保持RTSP连接（发送空的GET_PARAMETER）

关键字段（电信扩展）：
x-Timeshift_Range: clock=20100318T021915.84Z-20100318T031915.84Z
x-Timeshift_Current: clock=20100318T031915.84Z

可能存在的问题：
长时间Pause后，RTSP的TCP连接超时中断。解决办法——定期发送心跳包维持连接（参见GET_PARAMETER）

2.7 GET_PARAMETER

从服务器获取参数，目前主要获取时间范围，维持RTSP连接（心跳，发送空的GET_PARAMETER）

关键字段（电信扩展）：
x-Timeshift_Range: clock=20100318T021915.84Z-20100318T031915.84Z
x-Timeshift_Current: clock=20100318T031915.84Z

示例：

3 rtsp消息交互流程

1)  第一步：查询服务器端可用方法

  C->S:OPTION request       //询问S有哪些方法可用

  S->C:OPTION response    //S回应信息的public头字段中包括提供的所有可用方法过程。

2) 第二步：得到媒体描述信息

  C->S:DESCRIBE request      //要求得到S提供的媒体描述信息

  S->C:DESCRIBE response    //S回应媒体描述信息，一般是sdp信息

3) 第三步：建立RTSP会话

  C->S:SETUP request             //通过Transport头字段列出可接受的传输选项，请求S建立会话

  S->C:SETUP response          //S建立会话，通过Transport头字段返回选择的具体转输选项，

  并返回建立的Session ID

4) 第四步：请求开始传送数据

  C->S:PLAY request        //C请求S开始发送数据

  S->C:PLAY response            //S回应该请求的信息

5) 第五步： 数据传送播放中

  S->C:发送流媒体数据    // 通过RTP协议传送数据

6) 第六步：关闭会话，退出

  C->S:TEARDOWN request      //C请求关闭会话

  S->C:TEARDOWN response //S回应该请求

注：上述的过程只是标准的、友好的rtsp流程，但实际的需求中并不一定按此过程。其中第三和第四步是必需的！第一步，只要服务器客户端约定好，有哪些方法可用，则option请求可以不要。第二步，如果有其他途径得到媒体初始化描述信息（比如http请求等等），则不需要通过rtsp中的describe请求来完成。