DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

最新推荐文章于 2022-09-13 02:29:25 发布

DrWells

最新推荐文章于 2022-09-13 02:29:25 发布

阅读量216

点赞数

文章标签： AI 推荐系统

本文链接：https://blog.csdn.net/u013306830/article/details/98106951

版权

论文链接：
https://arxiv.org/pdf/1703.04247.pdf

主要内容

DeepFM结合了FM与Deep Learning，进行了特征自动提取，利用了FM难以有效利用的高阶特征。
借助FNN的思想，利用FM进行embedding，之后的wide和deep模型共享embedding之后的结果。DNN的输入完全和FNN相同（这里不用预训练，直接把embedding层看作一层的NN），而通过一定方式组合后，模型在wide上完全模拟出了FM的效果，最后将DNN和FM的结果组合后激活输出。
DeepFM输出为：
$\hat{y}=\operatorname{sigmoid}\left(y_{F M}+y_{D N N}\right)$
FM部分
$y_{F M}=\langle w, x\rangle+\sum_{j_{1}=1}^{d} \sum_{j_{2}=j_{1}+1}^{d}\left\langle V_{i}, V_{j}\right\rangle x_{j_{1}} \cdot x_{j_{2}}$
DNN部分
依然采用了全连接的深度神经网络的方式，只是在最后激活输出时，会对FM和DNN的结果一起做embedding
$y_{D N N}=\sigma\left(W^{|H|+1} \cdot a^{H}+b^{|H|+1}\right)$
$a^{(l+1)}=\sigma\left(W^{(l)} a^{(l)}+b^{(l)}\right)$
$a^{(0)}=\left[e_{1}, e_{2}, \ldots, e_{m}\right]$