在过去的五到六年中,软件容器技术主导了数据中心,从小型私有数据中心到大型企业数据中心和公有云。伴随着这一创新,高性能计算(HPC)和人工智能(AI)在企业内部的应用也在不断增长,以支持不同垂直行业中各种设备生成的大量数据。关注如此大量数据的关键原因是生成分析和实时可操作的洞察。
容器可以用来处理HPC工作负载,以解决传统HPC工作负载管理平台的重要缺陷——这一点得到承认并有了实例。Kubernetes和Docker容器技术已经成为可以为HPC工作负载提供动力并为大规模计算工作负载启用若干功能的框架。
容器概述
数据中心和软件技术行业的每个人都知道容器。它带来的一些好处是:
——在裸机上工作的操作系统级虚拟化。
——打包所有不同类型的依赖关系以运行可以与同一操作系统中的其他容器隔离的应用程序。
——容器带来了跨不同环境的应用程序可移植性。
——与VM相比,容器的启动速度非常快,能够为新服务快速推出软件堆栈,并加快整体交付速度。
——容器推动DevOps管道。
——支持微服务架构,进一步支持应用程序的灵活性和可伸缩性。
HPC概述
技术不断发展,许多行业(医疗保健、工业、汽车、航空等)已经可以支持每天产生大量数据的用例。例如,自动驾驶汽车每8小时产生40TB的数据,工业机械每天将产生100TB的数据,用于处理、存储和生产分析。但是要处理这么大的数据量,不可能是一个单一的系统(拥有足够的计算能力、存储和基础设施)。
HPC可以利用分布式计算和存储资源来解决大数据量的复杂问题。HPC集群通常被称为超级计算机。复杂算法用于大型数据集以生成洞察。HPC系统在并行