在大数据领域,并非每家公司都需要高性能计算(HPC),但几乎所有使用大数据的企业都采用了Hadoop式分析计算。
HPC和Hadoop之间的区别很难区分,因为可以在高性能计算(HPC)设备上运行Hadoop分析作业,但反之亦然。 HPC和Hadoop分析都使用并行数据处理,但在Hadoop 和分析环境中,数据存储在硬件上,并分布在该硬件的多个节点上。在高性能计算(HPC)中,数据文件的大小要大得多,数据存储集中。高性能计算(HPC)由于其文件体积庞大,还需要更昂贵的网络通信(如InfiniBand),因此需要高吞吐量和低延迟。
企业首席信息官的目的很明确:如果企业可以避免使用HPC并只将Hadoop用于分析,可以执行此操作。这种方式成本更低,更易于员工操作,甚至可以在云端运行,其他公司(如第三方供应商)可以运行它。
不幸的是,对于需要高性能计算(HPC)进行处理的生命科学、气象、制药、采矿、医疗、政府、学术的企业和机构来说,全部采用Hadoop是不可能的。由于文件规模较大,处理需求极其严格,采用数据中心或与采用云计算都不是很好的方案。
简而言之,高性能计算(HPC)是一个在数据中心内部运行的大数据平台的完美示例。正因为如此,企业如何确保其投资巨大的硬件完成需要的工作成为了一个挑战。
大数据Hadoop和HPC平台提供商PSCC Labs首席战略官Alex Lesser表示:“这是必须使用HPC来处理其大数据的许多公司面临的挑战。大多数这些公司都有支持传统IT基础设施,他们很自然地采用了这种思路,自己构建Hadoop分析计算环境,因为这使用了他们已经熟悉的商用硬件,但是对于高性能计算(HPC)来说,其响应通常是让供应商来处理。”
用于大数据处理的高性能计算的4个实现步骤
最新推荐文章于 2024-01-08 01:26:09 发布
本文探讨了大数据处理中高性能计算(HPC)的重要性,指出并非所有企业都需要HPC,但生命科学等领域的企业依赖于它。文章强调了HPC与Hadoop的区别,并提供了采用HPC的四个步骤:高层支持、定制预配置硬件、评估回报和培训IT团队。HPC投资需要匹配业务需求,例如飞机设计中的模拟,以实现成本效益。
摘要由CSDN通过智能技术生成