集群服务器分析系统,集群服务器系统可扩展性的研究与实现

摘要：

随着网络的广泛普及,一方面Internet与网络硬件,带宽在发展速度上的不平衡越来越成为制约发展的瓶颈,另一方面未来网络服务对可用性,可靠性,可管理性提出越来越严格的要求,如何能在发展速度和服务质量之间达成一致?集群技术为解决当前出现的发展瓶颈提供了新的契机. 集群系统的可扩展性是衡量性能的重要指标,但是实现系统的扩展性不是最终目的,系统应当可以灵活对不同问题给出合理的聚类,及时发现,处理异常情况,具有可解释性和高可用性等.设计系统时需要综合考虑可扩展性丰富的涵义,同时应遵循独立设计,平衡设计等原理. 本文分析比较了服务器集群技术的各种体系结构,如基于镜像,基于DNS和基于任务分配器,同时介绍了SSI,Heart Beat和负载平衡等各种关键技术,然后在基于可扩展考量的基础上,提出一种将分布式调度与集中式调度结合的新型集群系统.具有该结构的集群系统在进行动态扩展时能降低任务Scheduler的工作强度,降低单一瓶颈出现的可能性.该系统通过一种逻辑结构维护集群节点,节点之间可以通过Heart Beat实现节点状态的监控.基于Message Passing模式实现对节点动态正向和反向变化的管理,做好系统稳态改变后节点所维护的信息的一致性等工作.通过对集群系统进行建模分析,证明了该策略的优越性. 本文通过基于Message Passing的并行编程函数,结合程序设计语言C++,构建了并行程序环境.我们在并行环境中通过动态扩展集群节点,变换问题规模,对系统的并行利用率,加速能力等进行了分析,数据显示该系统在扩展过程中具有良好的性能.

展开