高性能计算、大数据与机器学习的融合

2019年9月，美国国家科学技术理事会（NSTC）发布《高性能计算、大数据与机器学习的融合》报告，对美国网络与信息技术研发计划（NITRD）大数据与高端计算研发机构间工作组于去年10月举行的同名会议进行了总结。

关键结论

（1）随着数据量的急速增加，在科学需求的推动下，高性能计算（HPC）、大数据（BD）和机器学习（ML）不断融合。数据的产生不再是瓶颈，取而代之的是数据的管理、分析和推理。

（2）随着半导体缩放对性能提升的贡献逐渐减少，未来系统的异构性将不断增加。系统将需要全面提高灵活性并具备低延迟，以更有效地支持新的应用。此外，因为当前可信数据很少，需要新的工具与基准来处理HPC模拟、大数据和机器学习应用中遇到的通用问题。

（3）未来的计算生态系统将不同于当前的计算生态系统，更可能是将边缘计算、云计算和高性能计算结合起来。为实现这种无缝的生态系统，将需要新的编程算法、语言编译器、操作系统和运行时系统来提供新的抽象与服务。预计“边缘智能计算”的重要性将日益提升，其涉及网络边缘（近数据源）的智能数据采集或数据分类。领取大数据资料加大数据扣群957加205后面962

（4）HPC、BD和ML社区间需要开展更多的合作，以实现更高校快速的生态系统开发，更有效地服务于这三类社区。数据分析与HPC模拟的融合已经取得了一些进展，而由于技术和组织上的差异，支持HPC和BD社区的软件生态系统却呈现出完全不同的情况。

案例

HPC-BD-ML融合的一个案例是美国能源部与国立卫