研究背景
传统上,大学研究小组使用各种基础设施来源进行计算科学,从部门拥有的集群到联邦政府资助的高端设施。虽然这些资源的定价不同,但它们很少以严格的商业方式提供。例如,本地集群通常由大学的持续资金或一次性补助金资助。对于像澳大利亚国家计算基础设施(http://www.nci.org.au)或美国TeraGrid(http://www.teragrid.org)这样的高端设施,通常需要申请同行评审的补助金,申请的质量由资源分配委员会评估。然而,这些补助金通常是按照CPU小时数而不是美元发放的。云计算代表了计算基础设施和服务供应和交付的重大转变。它使从分布式的、未管理的资源向在专业数据中心中管理的各种可扩展的、集中式服务转变,具有对用户的资源和服务供应的快速弹性和灵活性。
研究主旨
本文介绍了Nimrod工具家族如何整合网格计算和云计算资源,特别是在亚马逊EC2上的应用,以实现高通量科学研究。Nimrod工具家族支持参数扫描、优化搜索和工作流,能够将计算任务分配给多个异构资源,包括网格和云资源。文章详细描述了Nimrod的架构和调度策略,以及如何在混合网格和云环境中进行经济调度。通过一个案例研究,展示了如何利用Nimrod和EC2在有限的时间和预算内完成高通量科学实验。Nimrod的经济调度算法允许用户在截止日期和成本之间做出权衡,以达到最佳的科学产出。
研究特点
Nimrod工具家族通过允许研究人员利用计算模型探索复杂的设计空间,促进了高通量科学。用户能够描述在变化的输入参数下执行模型的大规模实验。工具家族的不同成员支持完整的和部分参数扫描、非线性优化的数值搜索甚至工作流。为了提供及时的结果并实现大规模实验,分布式计算资源被聚合形成逻辑上单一的高通量引擎。我们已经利用网格中间件标准在远程机器上启动计算。最近,我们添加了与Amazon的弹性计算云(EC2)的接口,允许用户混合传统网格资源和云。从轮询队列到基于经济预算的调度器,一系列的调度器允许Nimrod混合和匹配资源。这为计算研究者提供了强大的平台,因为他们可以同时使用大学级别的基础设施和商业云。特别是,系统允许用户付费以提高研究结果的质量,并决定他们愿意支付多少来获得特定的回报。