Facebook2019的DLRM

《Deep Learning Recommendation Model for Personalization and Recommendation Systems》

模型结构：dense特征，经过bottom MLP的变换，得到一个embedding; 和类别特征的embedding们，两两之间做向量点乘（类似FM的思想），得到的很多乘积串成一个向量，输入到top MLP里面，最后过sigmoid得到点击概率；

结合了2种并行：

Model并行：类别Embedding占内存太大，所以存放在多个device上；

Data并行：top MLP的参数量小，所以每个device上都复制一份，但是处理不同的训练数据；

butterfly all-to-all:

input里的每个Device，放的是自己那部分的embedding们，3种颜色各表示1/3的mini-batch的embedding们；

output里的每个Device，放的是自己这1/3个mini-batch所需的所有embedding们；

以上通信，实际就是Alltoall：

Data并行那里，每个Device上的梯度都要AllReduce一把，同步更新所有Device上的MLP模型参数；

 

Facebook用的是自研的2socket-CPU+8卡GPU一体机；似乎没有使用多机分布式；

实验了全部使用CPU和全部使用GPU，但是没有说明白最优的组合应该是哪部分使用CPU哪部分使用GPU(也许考虑到跟机型有关？）

使用Adagrad比SGD要好0.5%左右；使用Adagrad时，DLRM比DCN只有微弱优势（0.2%？）；就这效果，也敢自称state-of-the-art?