用于大数据处理的高性能计算的4个实现步骤

　在大数据领域，并非每家公司都需要高性能计算(HPC)，但几乎所有使用大数据的企业都采用了Hadoop式分析计算。

　　HPC和Hadoop之间的区别很难区分，因为可以在高性能计算(HPC)设备上运行Hadoop分析作业，但反之亦然。 HPC和Hadoop分析都使用并行数据处理，但在Hadoop 和分析环境中，数据存储在硬件上，并分布在该硬件的多个节点上。在高性能计算(HPC)中，数据文件的大小要大得多，数据存储集中。高性能计算(HPC)由于其文件体积庞大，还需要更昂贵的网络通信(如InfiniBand)，因此需要高吞吐量和低延迟。

　　企业首席信息官的目的很明确：如果企业可以避免使用HPC并只将Hadoop用于分析，可以执行此操作。这种方式成本更低，更易于员工操作，甚至可以在云端运行，其他公司(如第三方供应商)可以运行它。

　　不幸的是，对于需要高性能计算(HPC)进行处理的生命科学、气象、制药、采矿、医疗、政府、学术的企业和机构来说，全部采用Hadoop是不可能的。由于文件规模较大，处理需求极其严格，采用数据中心或与采用云计算都不是很好的方案。

　　简而言之，高性能计算(HPC)是一个在数据中心内部运行的大数据平台的完美示例。正因为如此，企业如何确保其投资巨大的硬件完成需要的工作成为了一个挑战。

　　大数据Hadoop和HPC平台提供商PSCC Labs首席战略官Alex Lesser表示：“这是必须使用HPC来处理其大数据的许多公司面临的挑战。大多数这些公司都有支持传统IT基础设施，他们很自然地采用了这种思路，自己构建Hadoop分析计算环境，因为这使用了他们已经熟悉的商用硬件，但是对于高性能计算(HPC)来说，其响应通常是让供应商来处理。”