目录
Facebook的深度学习推荐模型:DLRM模型-2019年5月
Facebook 开源的PyTorch 和 Caffe2 平台实现的
Facebook的深度学习推荐模型:DLRM模型-2019年5月
DLRM 开源地址:https://github.com/facebookresearch/dlrm
DLRM 论文:https://arxiv.org/abs/1906.00091
参考推送:https://mp.weixin.qq.com/s/mUNjLuOG2UvztCEP3wyPPw
Facebook 开源的PyTorch 和 Caffe2 平台实现的
通过将协同过滤和基于预测分析的方法的原理结合起来,改进了其他模型,从而使其能够有效地处理工业规模的数据,并提供最先进的结果。
使用公开数据集
包括 Kaggle 展示广告挑战赛数据集(Kaggle Display Advertising Challenge Dataset)。该数据集包含 13 种连续特征和 26 种类别特征,定义了 MLP 输入层的大小,以及嵌入的数量,其他参数则可以使用命令行定义
该模型使用嵌入来处理表示的稀疏特征,分类数据和多层感知器(MLP)处理密集特征,然后进行相互作用
最后,它找到了这个事件通过后处理与另一个MLP的交互的概率。 我们将此模型称为深度学习推荐模型(DLRM);
使用密集和稀疏特征
密集特征是浮点值的向量,稀疏特征是嵌入表的稀疏索引列表,嵌入表由浮点值向量组成。所选择的矢量被传递到由三角形表示的 mlp 网络,在一些情况下,矢量通过操作符(Ops)进行交互。
论文利用模型并行设计了一个专门的并行化方案。嵌入表上的lelism可以在利用时减轻内存限制数据并行性以从完全连接的层中向外扩展计算。未来的算法实验和系统协同设计。