高扩展性能存储服务器,基于P2P技术的高性能存储服务器的研究与实现

摘要：

"基于P2P技术的高性能存储服务器的研究与实现"是北京市科委"基于Ipv6的下一代互联网关键技术研发及产业化推进"项目课题"IPv6流媒体分发应用系统支撑系统的开发"的一个子课题.随着互联网的飞速发展,视频点播,IPTV等流媒体应用也发展迅速,迫切需要一个高性能内容分发系统来支撑业务的开展.其中存储服务器的性能是整个系统中最重要的环节.本文首先介绍了P2P技术的背景,发展,现状,通过建模和协议仿真器对BT协议的性能进行了研究和分析,在此基础上提出一个减轻BT种子压力的方法;对常用的网络服务器内部架构和多种事件分派机制进行了分析和比较,在此基础上提出了一个基于Linux平台的,采用异步事件驱动,遵循开放标准的,高性能,可扩展的存储服务器.本文详细介绍了存储服务器的设计与实现. 存储服务器基于Linux平台,采取模块化的思想进行设计.系统各模块运行在一个基于异步事件驱动的系统运行框架之上.框架吸取常用的网络服务器框架的经验,针对高网络IO,高磁盘IO的特点,运用Linux2.6内核的最新特性进行优化,提供统一的事件的登记和回调接口,所有的操作都是通过登记事件,然后由框架检测到异步事件时回调相应的处理函数,整个过程都是异步的;通过对磁盘IO读写技术进行分析,结合异步事件驱动的框架,设计并实现了高效的磁盘异步IO模块,存储服务器通过异步事件接收并处理客户端的交互命令,通过磁盘异步IO模块获得数据,再通过异步事件驱动框架发送给客户端;对保存在磁盘上的文件采用特殊的映射机制,减少目录的深度并使文件分布均匀;对内存中的文件索引通过hash表进行管理,加快了文件索引的查询速度;服务器内部实现了对标准BT协议的解析,支持所有采用标准BT协议的客户端;设计并实现了采用BT技术的文件分发功能;最后,设计并实现了的单连接静态限速和多连接的动态限速算法,经测试表明连接的速率能非常有效地得到限制并且保持稳定.

展开