XDL: An Industrial Deep Learning Framework for High-dimensional Sparse Data 论文笔记

本文的github地址: https://github.com/alibaba/x-deeplearning

X-Deep Learning(简称XDL)于2018年12月由阿里巴巴开源，是面向高维稀疏数据场景（如广告/推荐/搜索等）深度优化的一整套解决方案。以填补 TensorFlow、PyTorch 等现有开源深度学习框架主要面向图像、语音等低维稠密数据的不足。目前只支持ubuntu系统

摘要：

随着数据和计算能力的快速增长，基于深度学习的方法已成为许多人工智能问题（例如图像分类，语音识别和计算机视觉）的主要解决方案。包括Tensorflow，MxNet和PyTorch在内的几个的深度学习（DL）框架已开源。但是，现有的DL框架不是为涉及高维稀疏数据的应用程序而设计的，在许多成功的在线业务（例如搜索引擎，推荐系统和在线广告）中，这类数据广泛存在。在这些工业场景中，通常在具有多达数十亿个稀疏特征和数千亿个样本的大规模数据集上训练深度模型，这给DL框架带来了巨大挑战。在本文中，我们介绍了一个名为XDL的高性能，大规模和分布式DL框架，该框架提供了一种优秀的解决方案，可以填补现有DL框架的一般设计与高维稀疏数据引起的工业需求之间的差距。自2016年以来，XDL已成功部署在阿里巴巴，服务于许多产品，例如在线广告和推荐系统。XDL可以并行运行在数百个GPU卡上，可以在几个小时内训练具有数百亿个参数的深度模型。除了出色的性能和灵活性外，XDL还对开发人员友好。 阿里巴巴的算法科学家仅需几行简单代码即可开发和部署新的深度模型。

引言&#x