混合网格和云：使用Nimrod工具家族进行高通量科学

研究背景

传统上，大学研究小组使用各种基础设施来源进行计算科学，从部门拥有的集群到联邦政府资助的高端设施。虽然这些资源的定价不同，但它们很少以严格的商业方式提供。例如，本地集群通常由大学的持续资金或一次性补助金资助。对于像澳大利亚国家计算基础设施（http://www.nci.org.au）或美国TeraGrid（http://www.teragrid.org）这样的高端设施，通常需要申请同行评审的补助金，申请的质量由资源分配委员会评估。然而，这些补助金通常是按照CPU小时数而不是美元发放的。云计算代表了计算基础设施和服务供应和交付的重大转变。它使从分布式的、未管理的资源向在专业数据中心中管理的各种可扩展的、集中式服务转变，具有对用户的资源和服务供应的快速弹性和灵活性。

研究主旨

本文介绍了Nimrod工具家族如何整合网格计算和云计算资源，特别是在亚马逊EC2上的应用，以实现高通量科学研究。Nimrod工具家族支持参数扫描、优化搜索和工作流，能够将计算任务分配给多个异构资源，包括网格和云资源。文章详细描述了Nimrod的架构和调度策略，以及如何在混合网格和云环境中进行经济调度。通过一个案例研究，展示了如何利用Nimrod和EC2在有限的时间和预算内完成高通量科学实验。Nimrod的经济调度算法允许用户在截止日期和成本之间做出权衡，以达到最佳的科学产出。

研究特点

Nimrod工具家族通过允许研究人员利用计算模型探索复杂的设计空间，促进了高通量科学。用户能够描述在变化的输入参数下执行模型的大规模实验。工具家族的不同成员支持完整的和部分参数扫描、非线性优化的数值搜索甚至工作流。为了提供及时的结果并实现大规模实验，分布式计算资源被聚合形成逻辑上单一的高通量引擎。我们已经利用网格中间件标准在远程机器上启动计算。最近，我们添加了与Amazon的弹性计算云（EC2）的接口，允许用户混合传统网格资源和云。从轮询队列到基于经济预算的调度器，一系列的调度器允许Nimrod混合和匹配资源。这为计算研究者提供了强大的平台，因为他们可以同时使用大学级别的基础设施和商业云。特别是，系统允许用户付费以提高研究结果的质量，并决定他们愿意支付多少来获得特定的回报。

文章出处 混合网格和云：使用Nimrod工具家族进行高通量科学