DLRM模型-facebook

Facebook发布的深度学习推荐模型(DLRM)结合了协同过滤与预测分析原理,有效处理大规模工业数据。DLRM利用公开数据集如Kaggle展示广告挑战赛数据集进行训练,同时处理密集与稀疏特征,通过嵌入表处理稀疏特征,利用多层感知器处理密集特征。
摘要由CSDN通过智能技术生成

目录

Facebook的深度学习推荐模型:DLRM模型-2019年5月

 Facebook 开源的PyTorch 和 Caffe2 平台实现的

使用公开数据集

使用密集和稀疏特征

模型


Facebook的深度学习推荐模型DLRM模型-2019年5月

DLRM 开源地址:https://github.com/facebookresearch/dlrm

DLRM 论文:https://arxiv.org/abs/1906.00091

参考推送:https://mp.weixin.qq.com/s/mUNjLuOG2UvztCEP3wyPPw

 Facebook 开源的PyTorch 和 Caffe2 平台实现的


通过将协同过滤和基于预测分析的方法的原理结合起来,改进了其他模型,从而使其能够有效地处理工业规模的数据,并提供最先进的结果。

 

使用公开数据集

 

包括 Kaggle 展示广告挑战赛数据集(Kaggle Display Advertising Challenge Dataset)。该数据集包含 13 种连续特征和 26 种类别特征,定义了 MLP 输入层的大小,以及嵌入的数量,其他参数则可以使用命令行定义

该模型使用嵌入来处理表示的稀疏特征,分类数据和多层感知器(MLP)处理密集特征,然后进行相互作用

 最后,它找到了这个事件通过后处理与另一个MLP的交互的概率。 我们将此模型称为深度学习推荐模型(DLRM);

使用密集和稀疏特征

密集特征是浮点值的向量,稀疏特征是嵌入表的稀疏索引列表,嵌入表由浮点值向量组成。所选择的矢量被传递到由三角形表示的 mlp 网络,在一些情况下,矢量通过操作符(Ops)进行交互。

论文利用模型并行设计了一个专门的并行化方案。嵌入表上的lelism可以在利用时减轻内存限制数据并行性以从完全连接的层中向外扩展计算。未来的算法实验和系统协同设计。

模型

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值