本文作者由戴尔EMC Adnan Khaleel,首发于CIO.com。
高性能计算(HPC)和大数据的融合已经进行了多年。虽然以前HPC和大数据在不同的环境中发展,但现在正走向融合。使用HPC应用程序的人通常使用大数据,而处理大数据的人通常需要HPC系统的处理能力。这种融合将企业带入了HPDA的时代。
让我们退一步。对于企业来说,数据的传输速度远远快于任何人的预期。无论是来自物联网,网页,商业交易或其他来源,涌入企业数据中心的数据量超过了当前的存储容量。这种大量的数据创造了一类新的数据整合,数据处理和数据管理挑战。企业不能只是让数据堆积。他们现在需要对要存储的数据,要分析的数据以及要丢弃的数据做出慎重的决定。
最重要的是,企业需要找到方法将大量的数据变成有意义的洞察力。此过程越来越需要HPC功能,使应用程序尽可能快地运行。在许多情况下,企业需要实时生成洞察力。如需要优化远程设备的性能,更快地响应客户的需求,抑或是组织潜在的欺诈性交易。
让我们举个例子,许多企业受到来自互联设备(物联网)领域不断增长的数据浪潮的打击。为了利用这些数据,无论是实时还是一段时间,企业都需要运用复杂的机器学习和深度学习技术,这些技术需要与大数据平台和数据分析工具配合使用的HPC系统。
借助HPDA,企业使用HPC技术来分析大数据,以便获得快速洞察,实时结果和预测分析。一项研究发现,67%的HPC用户已经在使用HPDA,而不是传统的HPC。
虽然HPDA在传统研究驱动的HPC应用中是需要的,但它在企业环境中变得必不可少。根据行业的不同,企业可能需要利用以数据为中心的HPC平台,用于传统的HPC应用程序,如基因学,金融建模和信号处理,以及新兴的HPDA应用程序,如个性化医疗,欺诈检测和机器学习。
新工具和技术的兴起
对于需要HPDA的企业,在技术方面有一个好消息:将HPC与数据分析合并的工具和技术正在快速成熟。更好的是,HPC和大数据平台以减少在HPC和存储环境之间来回移动数据的需要方式进行融合。此融合可帮助企业避免不同系统附带的大量开销和延迟。
今天,企业可以选择快速增长的工具和技术,如流分析,图形分析和在HPC环境中的探索性数据分析。让我们简单看看这些工具。
流分析提供了新的算法和方法,帮助企业快速分析高带宽,高吞吐量的流数据。这些进步支持新兴图形模式,数据融合和压缩以及大规模网络分析的解决方案。
图形分析技术支持图形建模,可视化和评估,以了解大型,复杂的网络。具体应用包括语义数据分析,大数据可视化,图形分析研究的数据集,基于活动的分析,大图数据工具的性能分析和防逃避异常检测。
探索性数据分析提供了探索和分析大量流数据源的机制,以获得新的见解和决策。应用包括探索性图分析,地理启发式并行仿真和网络分析数据集。
HPDA在行动:案例研究
让我们来考虑一些现实生活中的HPDA实例。这些例子显示了公司如何利用高性能计算和大数据技术的融合。
为了帮助抵抗癌症和其他疾病,TGen需要极其可扩展,可靠和可用的HPC节点来开发个性化的治疗。为了满足这一需求,TGen优化了其基础设施,利用戴尔EMC PowerEdge刀片扩展其现有的戴尔EMC HPC集群。该系统结合了强大的大数据和分析工具,利用戴尔EMC Hadoop平台和Statistica软件。提高的性能有助于TGen加速结果,使研究人员能够将治疗扩展到更多的患者。
另一个戴尔EMC客户Sensus需要增加其数据集大小,以便能够更轻松地查看仪表传感器性能问题。为了满足这一需求,该公司实施了一个基于Hadoop平台的数据集群和数据湖,以及来自Dell EMC和Intel的技术,整合了制造,测试和其他数据流。有了这个统一的平台,Sensus可以快速分析1700万个气体,电表和水表传感器的数据,并主动识别设备问题,帮助预测和防止未来设备故障。
使用HPDA启用主动维护
在物联网方面,HPDA技术能够对资产进行预测性维护,以帮助防止设备故障,延长机器寿命,并帮助企业获得更好的资产回报。这些技术超越了状态监测,使条件理解。就其自身而言,状态监视提供了行动的时间,但是当数据被动态地提供给特定于设备的预测模型时,可以实现条件理解。这意味着用户将有时间对维护事件采取行动,并清楚地了解他们需要采取的行动。
对于新的物联网企业,面临的挑战众多,涵盖硬件和软件。例如,他们需要:
确定什么是最佳传感器网络架构和边缘节点的最佳位置
确定早期分析需要什么数据,哪些数据可以丢弃,以及数据中心深度分析需要哪些数据
识别启用数据分析和过滤的边缘节点上所需的软件堆栈
管理整个端到端流程,记住时间到洞察(如果失败已经发生,数据有什么好处?)
推进部署,包括数据移动,数据安全和合规性的行业最佳实践
保持成本可管理
这就是专业知识非常方便的地方。考虑到这一想法,戴尔EMC与Software AG和Kepware合作,为主动维护生成端到端解决方案。它提供了完整的硬件,软件堆栈,可轻松实现物联网传感器的管理,生成的数据以及实时分析数据,从而最终简化基于IoT的基础设施维护解决方案的部署。
作者:Adnan Khaleel
来源:IT168
原文链接:HPC与数据分析融合将企业带入HPDA时代