网络视频监控P2P解决方案

一.摘要

本文分析了日益增长的民用级别家庭和个人网络视频监控市场的需求特点,并给出了一种经济可行易于大规模部署的P2P解决方案。

由于篇幅有限,本文只给出了方案的思路,未对更深入的技术细节做详细的论述,有兴趣的朋友可以继续深入研究。

 

二.关键词

IPCAM,  P2P,NAT,  STUN,  TURN,  ICE,  PJSIP,  OPENSIPS,  UDT, TCP,  UDP

 

三.需求提出

网络视频监控市场持续火爆升温,除了公共安全市场持续高速增长之外,民用市场中家庭和个人视频监控的需求近年也在逐渐增多。这主要得益于以下几点:

1.       网络视频监控产品的价格已经降低到个人很容易接受的程度。

2.       家庭宽带网络的逐步普及。

3.       3G网络的逐步普及。

家庭和个人监控的需求和传统的公共安全监控需求有明显的不同,其特点主要体现在以下几个方面:

1.       规模很小。通常是1台或者几台。

2.       无需专用的监控客户端,无需长时间监控。

3.       监控客户端和网络摄像机多位于不同的网络。比如网络摄像机在家中,用户通过公司的网络或者手机查看视频。

4.       不会多人同时查看一路视频,最多一两人同时看,且概率较小。

5.       无需连续长时间录像,多采用移动侦测或者其他告警触发录像,拍照,同时通过邮件,短信提醒。

 

四.技术难点

通过以上分析可以看出,家庭以及个人视频监控的需求和传统公共安防市场的需求有很大的不同,决定了其必须采用不同的技术路线和方案:

1.       网络摄像机和监控客户端(PC/手机)位于不同的网络,中间有防火墙隔离,无法像传统安防产品一样采用网络直连通过IP地址直接访问的方式。

2.       网络摄像机数量庞大(至少以万为单位),但分属多个用户。如果采用中央服务器转发的方案,需要互联网上部署相当数量的转发服务器,成本相当高。

3.       必须实现即插即用,不能让用户进行复杂的安装配置。否则售后服务的代价太高。

 

要实现位于不同网络里的大量网络摄像机和客户端点对点的访问,比较可行而且比较经济的方法是实现防火墙的穿透(NAT),让客户端和网络摄像机之间建立一个直接的数据传输通道,传输视频流和信令。

要实现NAT穿越,需要有一套机制,能够轻松的让客户端和网络摄像机之间能建立起联系,简单的说,就是让客户端能找到自己要访问的摄像机,然后去实现NAT穿越,进而可以访问视频和进行其他操作。

只有解决了上述两个技术难点,大规模部署P2P网络视频监控系统,才有可能实现。

 

五.解决方案

笔者经过深入的研究和分析,给出以下解决方案。

1.       NAT的穿越

NAT的穿越并非安防监控领域的技术,是目前VOIP以及即时通信等产品的基础性技术,目前来讲已经比较成熟,且有完整的技术标准RFC,同时也有众多的实现方案,包括许多已经得到广泛应用的开源项目。

简单来讲,实现NAT的穿越是可能的,成功的概率也比较高。UDP的协议进行数据传输穿透NAT的成功率比较高,接近100%,TCP则存在一些情况无法实现穿越,主要受限路由器的端口映射机制。

要实现NAT穿越,需要有穿越控制服务器部署在互联网(有固定的域名或者IP),由该服务器来协助网络摄像机和客户端来实现NAT穿越。有些服务器还能在TCP不能穿越的情况下,实现RELAY(数据中继转发)的功能,以确保二者之间能实现数据通信。

由于NAT穿越控制服务器不同于安防监控系统中的媒体转发服务器,主要进行信令交互,不转发媒体数据,在协助打通数据通道之后,对应的网络摄像机和客户端就不会再占用服务器带宽和处理能力了,因此一台穿越控制服务器可以接入数量庞大的网络摄像机和客户端。

2.       网络摄像机和客户端之间的访问机制

通常网络摄像机都有唯一ID,并通过该ID注册到穿越控制服务器。客户端要访问对应的网络摄像机时,也需要先注册到穿越控制服务器,并提交对应网络摄像机的ID,由穿越控制服务器查找对应的网络摄像机,并协助网络摄像机和客户端之间进行NAT穿越,最后打通一个点对点的数据传输通道。之后,二者即可进行正常的媒体和信令交互了。

为实现更加有效的管理,服务器可对设备接入进行认证。此外,如果设备ID过长,也可以为设备建立别名,客户端访问时用设备别名作为参数,服务器来查找对应设备。

3.       数据传输机制

网络摄像机和客户端之间的数据传递包括有媒体流,信令流等。信令流数据量较小,媒体流数据量加大,而且需要有较好的实时性。

如果媒体流和信令流分开传输,需要打通多个通道,增加了复杂性和出错可能,同时增加了服务器的负担。

前面也讲过,UDP协议能有比较好的NAT穿透性,也比较适合媒体流的传输,但可靠性较差,不宜传输信令。为减轻服务器负担(避免TCP无法穿透需要转发),提高穿透成功率,笔者建议只打通一个UDP通道,利用该UDP通道封装媒体和信令流,在应用层加以区分,哪些是媒体流,那些是信令流。

由于UDP传输信令可靠性极差,即使是传输媒体数据,在互联网环境下肯定会出现丢包的情况,仍然会出现图像花屏或者解码出错的情况,因此必须要解决此问题。

好在此问题并非我们第一个提出,利用UDP协议进行可靠的数据传输的需求早就存在,并有了比较好的解决方案,那就是通过UDP协议在应用层实现数据的缓冲,序列化,重传,可靠性控制和拥塞控制。

 

如果上述三个问题都已解决,则网络视频监控的P2P方案已经基本实现,剩下的就是产品化的问题。以下笔者针对PC访问和手机访问分别给出简要的实现说明:

1.       PC访问网络摄像机。

PC访问网络摄像机,可以先访问一个网页,传入网络摄像机的序列号。

网页加载一个控件,该控件通过NAT穿越控制服务器和该序列号对应的网络摄像机实现NAT穿透后,通过可靠的UDP传输信令和媒体数据。控件提供视频浏览,对讲,云台控制,参数查询设置等功能。

 

2.       手机访问网络摄像机。

手机由于平台的不同,需要单独开发对应的客户端或者插件以实现和PC访问类似功能。但原理是一样的,都需要通过NAT穿越控制服务器和该序列号对应的网络摄像机实现NAT穿透后,通过可靠的UDP传输信令和媒体数据。由于开源的NAT穿越库是可以移植的,在LINUX,WINCE,IOS, Android,Sbrian等都可以实现同样的NAT穿越功能。

 

六.实现建议

最后笔者给出几个技术方案的建议,有兴趣的朋友可以自己再去做深入研究,欢迎探讨。

1.       NAT穿越库的选择,笔者推荐PJSIP,网路摄像机以及客户端都可以采用。

2.       NAT穿越控制服务器的选择,笔者推荐OPENSIPS。

3.       可靠UDP传输方案的选择,推荐UDT。

  • 0
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
1. 架构说明 目前的协议有如下一些特点: 1) 客户向服务器发送请求, 每个请求的长度不定. 请求的长度在第一个INT中指定. 2) 每个服务器通常会向多种客户提供服务, 例如, TS要同时向CP, NP提供服务, CP要向NP和其他CP提供服务, 同时还是其他CP, TS, SP的客户. 3) 每个服务器为客户服务时, 通常是长期的, 会涉及多次请求-应答的来回. 这样的结构, 主要是为了能够支持大量并发客户连接而设计的. 在具有大量并发客户 连接时, 无论采用线程还是进程, 都无法进行有效的服务, 因此必须采用select 轮询方式. 2. 基本数据结构说明 对于每个客户端, 需要保存该客户端相应的一些信息. 目前的CPnew.c, SPnew.c 和TSnew.c的核心数据结构基本相同, 都由Session, SessionCluster (TSnew.c中) 或者 ServerDesc (CPnew.c和SPnew.c)构成. 其中, Session是每个客户端相关的数据, SessionCluster(或者是ServerDesc)是 有关每种服务的信息, 其中有一个指向该服务相关的各个Session的指针. Session 这一数据结构不是在有客户请求时动态分配的, 而是在最开始初始化时就已经分配 好的, 当有新客户请求到来时, 服务器搜索这一预先分配好的这些Session, 发现其中 有空闲则使用, 如果没有空闲就报告错误. 对于TS和CP(SP)来说, 最大的区别是TS使用UDP协议, 而CP和SP则使用TCP协议, 二者的 不同在于: 1) 对于TCP协议的客户端, 由于每个客户端都使用不同的socket, 因此select之后 只需要看各个客户端的fd_set是否置位就可以了, 而对于UDP客户端, 找到相应的 客户端需要进行一次查找过程. TS使用了一些措施来减轻查找所带来的开销. 2) TCP协议中, 发来得数据是流形式的, 因此需要进行消息分块, 有可能两个消息 在一次read中读完, 也有可能一个消息需要读很多次, 这两种情况都需要考虑, 因此 每个Session中都有一个buf, rstart, rlen, 用来存储读来但还没有处理的消息, 同样, 写的过程中也需要考虑写的时候有可能没有一次写完, 因此也需要每个Session中 保留wbuf, wstart, wlen三项. UDP中则不同, 在协议实现中假设每个UDP数据包中 所包含的消息都是完整的, 因此没有这几项. SessionCluster(或者是ServerDesc)来说, 描述了一个服务, 这个服务由这样几个 主要的部分构成 1) sock: 描述所所使用的socket 2) cur: 当前客户端的个数 3) max: 最多容纳客户端的个数 4) head: Session的头, head[0]为第一个Session, head[max-1]为最后一个session 5) init: 这一服务中每个Session需要执行的初始化操作. (函数指针) 6) process: 这一服务中消息的处理函数 7) closure: 这一服务中需要的析构函数 3. 主要结构说明 process_child: 主要函数, 这一函数主要用来 设置socks和wsocks, 对于SP和CP, 只有Session的wlen>0的时候才设置wsocks; select; 对于每个ServerDesc(或者SessionCluster), 进行process_type 在SP和CP中, 为了支持PUSHLIST操作, 在每一次循环前先要进行processJob 在CP中, 还周期进行periodCheck, 用来将过期的连结清除 在TS中, 周期进行periodLog, 用来将过期的客户连接清除 process_type: 对于每个Session, 检查是否可读. 如果可读, 检查是否有完整的消息, *(unsigned int *)(rbuf+rstart) 0, 则进行写 4. 其他重要的模块 1) 配置模块 配置模块主要由struct NamVal, read_config, free_config组成, NamVal结构中, Name是在cfg文件中的名字, ptr是指向存放的指针, type是数据的类型, 目前支持这样 几种类型 'd': 整数类型, ptr是一个整数指针 's': 字符串类型, ptr是一个指向指针的指针, (char **) 'b': 字符串buffer类型, ptr是一个char *, 使用这种类型时应当注意, 对于's'类型, read_config将为该val分配内存(malloc), 但是对于'b' 类型, ptr所指向的必须是已经 分配好的内存 两个重要的函数分别为: read_config, 参数为文件名, 一个struct NamVal *, 以及该struct NamVal的项数 free_config, 参数为和read_config相同的struct NamVal *以及项数 2) mysql 模块 mysql模块主要有MYSQL *local_mysql以及三个函数构成, 这三个函数是 init_mysql, 初始化mysql, 返回一个MYSQL *, 一般用来初始化local_mysql query_mysql, 执行一个mysql语句, 格式为query_mysql (local_mysql, "mysql语句, 其中格式和printf的格式相同, 例如delete from %s等", 所需要的值) query_mysql_select, 执行一个mysql的select语句, 与上面不同的是, 它返回一个 MYSQL_RES *. 3) network排序模块 这一模块主要由networks结构, readNETBLOCK函数, getnetwork函数, compareNet函数 构成, 其中, readNETBLOCK用来读入network配置文件, 初始化全局变量NETBLOCKS, NETBLOCKS是一个 networks结构数组, 有MAX_NET项. getnetowrk用来查找和一个IP地址最接近的netblock compareNet是在qsort中用到的一个函数, 对找到的NPPeer进行排序, 让同一个网络 中的NPPeer排在前面. 4) 图管理 在目前的CP, SP, NP中, CP可以同时加入多个频道, 而NP也可以有多个资源, 为了描述 这种结构, 引入了图的概念. 每个边(Edge)存储了指向NP的指针, 指向Channel的指针, 在TS中还需要存储这一Session在这一Channel中的各个Interval. 每个Channel通过Edge 中的cnext串成一个链表, 这个链表的头是Channel结构中的PeerHead, 而每个Session 通过Edge中的enext也串成一个链表, 这个链表的头是Session结构中的header. 相关的函数有: newEdge: 新添一个边, 参数为Channel *, Session *, 对于TS还需要一个ChannelInfo来 初始化Edge中的信息 delEdge: 删除一个边, 参数为Edge * 5) Channel模块 Channel模块的功能主要是: TS中用来处理NEED_PEERS, SP中还需要保存和查找频道数据, 频道都使用图结构进行管理. 频道的搜索为了效率方面的因素, 采用了Hash进行搜索, ChannelHash中使用的是字符串 hash, 如hash_str所示. TS中的Channel相对较为简单, SP和CP中Channel还需要管理Channel相关的数据. 这些 数据以文件的形式存在硬盘上/var/tmp/目录下, 文件名随机生成, 对于每一块的相关信息, 由BlockData来保存, BlockData中的firstsampl, message_size, message_id, offset分别 存储了firstsample信息, 快的长度, 块的id, 以及在文件中的offset. SP和CP的处理有所不同, 对于CP, 块是以hash的方式来存放的, 例如, 块的ID为1000, 而 max_queue为100, 则存储位置为1000%100=0. 对于SP, 如果资源是一个CS发来的频道, 则是一个循环队列, 每一块按照次序分别存放在相应位置, 如果到了队列尾部, 就再从 队列头开始. 如果资源是文件, 就不保存BlockData信息, 直接根据blockID到原文件定位. 涉及Channel的函数有很多, 如locate_by_id, locate_order_by_id, newChannel, freeChannel, saveBlock等. 6) Berkeley DB模块 这只在SP中涉及, 主要是打开DB文件, 查询某个md5的位置. 主要涉及到DB* MediaDB, openDB, openMedia这两个函数 openDB: 参数为DB文件的名 openMedia: 参数为md5和一个整数指针, 返回FILE *以及该文件的长度, 在整数指针中 7) Job模块 Job模块用在CP和SP中, 用来处理PUSHLIST, PUSHLIST消息可以重新设置Job的列表, 也可以添加Job或者是删除Job. 涉及到job.c中的函数和JobDes结构. JobDes结构 中一个Session *, 一个Channel *用于标识该Job所属的Session和Channel, num表示 所需要下载的BlockID数, job是一个指向整数的指针, mask也是一个指向整数的指针, job 是需要下载的BlockID, 如果mask为0,则需要进行下载, 如果为1, 则不需要. addJob: 添加job的时候, 不检查该Job是否已经在列表中, 直接生成一个Job然后 添加到链表中. deleteJob: 删除Job时, 检查所有Job列表中的具有相同Session和Channel的Job, 然后将需要删除的blockID的相应mask设置为1. processJob: 对于每个job, 从cur开始, 利用process_P2P_REQUEST_real来传输 第一个mask为0的块, 如果都为1, 就删除这个job. freeJob: 删除某个JobDes. freeJobList: 删除某个Session的所有JobDes, 通常用于该Session退出时使用. 8) Interval模块 Interval模块用在TS中, 用来表示NP上面所有的快区间, 目前块区间由一个开始 字段和一个长度字段来标识. 对于Interval的主要操作是merge和delete, merge 是将原有的Interval和新的Interval列表合在一齐, 而delete则是从原有的当中 去掉新的. merge: 算法如下, 使用了缓冲Interval列表tmp. if (old < new[j]) tmp[k] = old; else tmp[k] = new[j]; 然后再看old和new中哪些能够可以和tmp[k]合并 delete: 较为复杂一些, 考虑下面几种情况 old的开始比new[j]的结束大 old的结束在new[j]的开始前 old和new[j]有共同部分, 而且 old含在new[j] 中 new[j]含在old中 互不包含, new[j] 在前 互不包含, old 在前 5. 一些快速算法 1) 在使用UDP的TS中, 在客户初次登录时, 需要查找空闲的Session, 此外, 客户有可能 会重复发送LOGIN消息, 这时需要检查这一客户端是否已经在Session列表中, 第三, 当 客户端发送消息时, 需要找到相应的Session. 为了避免这些查询, 分别使用了如下方法. 首先, 建立一个Hash表, 开始的时候所有空闲Session都串到Hash[0]处, 每当来一个 新的客户端时,从Hash[0]中取出Session, 链到相应的hashid上. 为此, hash所得的值 不能为0, 如果为0, 就返回最大的可能hashid. 根据来源端口和IP地址查询Session也使用这一Hash表. 客户端发送消息时, 使用了用于验证的7个字节中的前3字节, 用这3字节来标识Session 的下标, 这样就避免了查询开销. 2) 使用maxid来减少搜索次数. 在TCP中没有使用Hash, 使用了maxid这一项, 用来记录Session中最大的id, 由于在Session 初始化的时候, 是查找ID最小的空闲Session, 因此可以认为Session是比较紧凑的, 由于SP和CP支持的客户端要比TS少得多, 因此这样的处理是可以接受的. 在客户退出的时候, 有可能需要更新maxid, 这一更新是由Clientclosure来完成的, Clientclosure更新maxid, 然后再调用相应的析构函数. 3) 长期idle的连接的超时处理. 由于超时处理需要遍历整个列表, 为了节约系统资源, IDLE时间比较长, 此外, 一般还需要定期报告系统统计数字, 因此需要及时性. 为此, 一般periodLog或者periodCheck都判断是执行这两者中的哪一种操作. 4) 查询CPPeer时, 考虑到目前只支持GCP, 因此直接采用了GCPCHOICE,设置为当前 负载最小的GCP, 在GCP报告或者是GCP登录, 退出的时候更新. 6. 消息处理 1) TS消息处理 NP2TS_LOGIN: NP向TS登录, 按照来源IP地址和所报告的npport进行hash, 如果距离上次 发送NP2TS_LOGIN消息的时间小于SILENCE_TIME, 则直接返回, 否则发送WELCOME消息. NP2TS_REPORT: 报告Interval信息, 如果refresh为true, 则重置, 否则则先增加后删除. NP2TS_NEED_PEERS: 查询Peer信息, 使用findCPPeer寻找合适的CP, 使用findNPPeers 寻找合适的NP. NP寻找时, 找到结果后按照networks来排序, 保证在同一个网络中的 排在前面. NP2TS_LOGOUT: 退出 NP2TS_RES_LIST:发送当前NP的所有RESOURCE, 使用addSession来进行处理, 如果还没有这 条边, 就添加 NP2TS_REQ_RES: 添加RES, 并返回Peers NP2TS_DEL_RES: 删除RES CP2TS_REGISTER: 登录, CP向TS登录, 按照来源IP地址和所报告的npport进行hash, 如果距离上次发送CP2TS_REGISTER⒌氖奔湫∮赟ILENCE_TIME, 则直接返回, 否则发送 WELCOME消息. CP2TS_UPDATE: 报告CP负载 CP2TS_NEED_PEERS: ECP查询用, 目前尚未使用 2) SP消息处理 P2P_HELLO: 加入某个频道, 如果频道存在 如果是个Media文件: 返回SPUPDATE, 表明这一频道的最小最大blockID 否则: 如果这一频道已经结束, 返回结束信息 如果频道不存在 如果是个Media文件: 返回SPUPDATE, 表明这一频道的最小最大blockID, 建立频道 否则: 返回一个SPUPDATE指示错误 P2P_PUSHLIST: 重置或者是增加删除任务列表. 重置时, 先删除所有的相关任务, 然后 再增加或删除. CS2SP_REGISTER: 建立频道 CS2SP_UPDATE: 更新频道信息 CS2SP_BLOCK: 发送数据块 3) CP消息处理 P2P_HELLO: 加入某个频道, 根据提供的SP地址来建立相应连接 P2P_PUSHLIST: 重置或者是增加删除任务列表 P2P_SPUPDATE: SP发来的SPUPDATE, 如果是Media文件, 则不转发给NP P2P_RESPONSE: SP发来的数据块. 此外CP还需要向TS注册. 目前只有GCP一种类型在使用.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值