异构内存及其在机器学习系统的应用与优化

第四范式深耕于人工智能领域，在人工智能相关算法、应用、系统和底层架构设计等有兼具广度和深度的理解。

随着近几年先进存储技术的飞速发展，涌现出了具有颠覆性的存储技术，比如非易失性存储、SSD等。基于此类技术的异构内存架构，正在颠覆传统应用程序的设计和优化模式。

第四范式在异构内存架构上抢先布局，进行了若干创新性探索研发和落地实践，比如参数服务器[ 第四范式推出业界首个基于持久内存、支持毫秒级恢复的万亿维线上预估系统：https://www.163.com/tech/article/FGCFSO4N00099A7M.html ]、内存数据库等[ 英特尔、第四范式联合研究成果入选国际顶会 VLDB 傲腾™ 持久内存加持 优化万亿维特征在线预估系统：https://newsroom.intel.cn/news-releases/the-joint-research-results-of-intel-and-4paradigm-were-selected-into-the-vldb-international-conference/]。

此篇文章将介绍异构内存架构的技术背景，以及在自动机器学习系统上的技术实践。

异构内存架构

传统上，我们所说的内存一般是指动态随机存储，即DRAM。此外，在CPU中还会存在小容量的快速存储器件，我们一般会称他们为CPU缓存（即L1/L2 cache）。具有持久性的慢速存储器件则构成了外存，比如磁盘等。因此，外存、内存、和CPU缓存，构成了整个存储架构金字塔。但是，随着具有革命性意义的非易失性内存技术的商业化落地，使得这个金字塔中的内存不再由DRAM单一组成，而是由DRAM和非易失性内存构成了异构内存架构。

此外，非易失性内存的出现也模糊了内存和外存之间的功能边界，使得内存数据持久化成为了可能。今天，非易失性内存技术已经完全成熟，由英特尔于2019年发布的英特尔® 傲腾™ 持久内存（简称持久内存或者PMem），即是此技术的代表性产品。

图 1. 基于异构内存的存储架构金字塔

图 1显示了包含有异构内存的存储架构金字塔。可以看到，在本质上，持久内存处于金字塔中DRAM和外存之间，其在容量、性能、成本都是处于两者之间。甚至在功能上，它亦是一个DR