流媒体服务器设文档
Live555流媒体服务器-设计文档
1 设计目的
以Live555为平台搭建流媒体服务器,支持H.264视频流和G.729音频流两种实时流的直播功能,支持VLC、MPLAYER等标准流媒体客户端软件进行RTSP请求播放。2 系统框架
Live555流媒体服务器接收到来自网络的RTSP请求后,遵循RSTP协议的标准,处理建立RTSP会话的信令流程,并分配相应的资源,建立对应的媒体通道。
开始播放后,从摄像头和麦克风采集的音视频数据,视频数据在BF561子板上进行H.264编码,并将编码后的视频流通过SPORT口,交由BF536底板上的Live555流媒体服务器处理;音频数据直接由Live555流媒体服务器进行G.729编码。
Live555流媒体服务器根据RTSP协商的结果,将编码后的音视频数据封装为RTP数据,发送到请求的客户端。
系统的整体流程如下图1所示:
图 1 系统流程说明
3 系统设计
Live555支持H.264源视频文件的流化,需添加对实时流直播的支持;已有优化的G.729编码库,需要添加在live555中添加对G.729音频编码格式的支持。
3.1 RTSP服务器
参考live555源码mediaserver/目录下的live555MediaServer.cpp,实现媒体流请求的点播功能。客户端(Client)与服务器(Server)之间的RTSP信令交互过程如下图2所示:
图2 RTSP信令交互过程
1.RTSP连接的建立过程RTSPServer类用于构建一个RTSP服务器,该类内部定义了一个RTSPClientSession类,用于处理单独的客户会话。
首先创建RTSP服务器(具体实现类是DynamicRTSPServer),在创建过程中,先建立setUpOurSocket(ourSocket)在TCP的554端口进行监听,然后把连接处理函数句柄(RTSPServer::incomingConnectionHandler)和socket句柄传给任务调度器(taskScheduler)。
任务调度器把socket句柄放入后面select调用中用到的socket句柄集(fReadSet)中,同时将socket句柄和incomingConnectionHandler句柄关联起来。接着,主程序开始进入任务调度器的主循环(doEventLoop),在主循环中调用系统函数select阻塞,等待网络连接。
?当RTSP客户端输入(rtsp:///)连接服务器时,select返回对应的scoket,进而根据前面保存的对应关系,可找到对应处理函数句柄,这里就是前面提到的incomingConnectionHandler了。在 incomingConnectionHandler中创建了RTSPClientSession,开始对这个客户端的会话进行处理。DESCRIBE请求消息处理过程RTSP服务器收到客户端DESCRIBE请求后,根据请求URL(rtsp:///),找到对应的流媒体资源,返回响应消息。live555中的ServerMediaSession类用来处理会话中描述,它包含多个(音频或视频)的子会话描述(ServerMediaSubsession)。
RTSP服务器收到客户端的连接请求,建立了RTSPClientSession类,处理单独的客户会话。在建立RTSPClientSession的过程中,将新建立的socket句柄(clientSocket)和RTSP请求处理函数句柄 RTSPClientSession::incomingRequestHandler传给任务调度器,由任务调度器对两者进行一对一关联。当客户端发出RTSP请求后,服务器主循环中的select调用返回,根据socket句柄找到对应的incomingRequestHandler,开始消息处理。先进行消息的解析,如果发现请求是DESCRIBE则进入handleCmd_DESCRIBE函数。根据客户端请求URL的后缀如调用成员函数DynamicRTSPServer::lookupServerMediaSession查找对应的流媒体信息 ServerMediaSession。ServerMediaSession不存在,但是本地存在文件,则创建一个新的 ServerMediaSession。在创建ServerMediaSession过程中,根据文件后缀.创建一个子会话描述H264VideoFileServerMediaSubsession。最后由ServerMediaSession完成组装响应消息中的SDP信息(SDP组装过程见下面的描述),然后将响应消息发给客户端,完成一次消息交互。SDP消息组装过程:ServerMediaSession负责产生