分布式云计算机房设计规范,基于云计算的分布式处理框架的研究与设计

摘要：

随着电子商务的蓬勃发展,与国际贸易相关的各种数据也呈井喷式的增长。为了解决国际贸易中的若干关键技术问题,本文设计了基于云计算的分布式处理框架来满足项目对海量数据的存储管理、灾难备份、信息服务的质量保证、业务信息的高效率统计以及电子单证转换各方面的要求。该设计方案充分利用了大规模集群计算机的存储、计算资源,而且可以方便、低代价的对集群进行扩展,为国际贸易企业间的合作与信息交互建立良好的技术支撑。 本文所设计的分布式处理框架采用层次式的架构,自底向上分别是硬件资源管理层、业务逻辑层、用户交互层。三层之间彼此独立,由下层向上层提供功能调用接口,每一层内部的变化不会对其他层产生影响,可以很方便的对框架进行改进和扩展。硬件资源管理层采用了云计算开源框架Hadoop对集群的硬件资源进行管理;业务逻辑层采用了Spring开源框架技术和MapReduce编程模式,利用底层提供的接口实现了用户管理、文件管理、业务信息统计、电子单证转换、编程接口调用等业务功能;用户交互层采用Struts2架构结合多种Web前端技术搭建,负责集群与用户的交互,根据用户请求调用相应的业务层功能模块完成用户请求。 针对项目多用户、短作业较多的需求,对MapReduce编程模型的作业调度方式进行了深入的研究。通过大量的实验和对已有作业调度算法的研究分析,结合项目本身特点,设计了两级队列期限驱动的作业调度算法。该算法将作业队列分为长作业队列和短作业队列,更好的满足了短作业队列的需求,避免了长作业长期占用集群资源的弊端,并在一定程度上实现了作业的并行运行,提高了集群的资源利用率。通过给作业设置最后执行期限,让到达执行期限的作业被赋予最高的优先级优先处理,并能获得更多的集群资源分配,很好的满足了用户实时性的需求。通过将暂时不能被分配到持有该任务数据的节点资源的任务延迟一段时间执行,更好的实现了数据本地化,提高了集群的执行效率。 最后,对本文所做的优化和改进进行了大量的实验验证和比对。首先证实了通过参数的合理配置有效的提升了框架的性能,然后证实了本文所设计算法较之Hadoop默认算法的优越性。

展开