DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, Xiuqiang He
Harbin Institute of Technology, Noah’s Ark Research Lab
https://www.ijcai.org/proceedings/2017/0239.pdf
IJCAI 2017
在推荐系统中,为了最大化CTR, 将用户行为背后的特征如何交互探究清楚至关重要。
尽管先前的一些方法取得了不错的成果,但是,它们要么偏向于低阶的特征交互,要么偏向于高阶的特征交互,要么要求专家设计的特征工程。
这篇文章提出一种端到端的学习模型,该模型不仅可以学习低阶特征交互,而且可以学习高阶的特征交互。本文所提出的模型DeepFM, 结合了分解机在推荐系统中的优势和深度学习在特征学习中的优势,提出了一种新的神经网络结构。
相对谷歌提出的Wide & Deep 模型,DeepFM的wide和deep部分的输入是共享的,除了原始特征不需要特征工程。
在标准数据集和商业数据上的实验表明,DeepFM相对之前的模型在ctr预估中,不仅效果更好,而且速度更快。
wide & deep model表明,同时考虑低阶和高阶特征交互相对只考虑低阶或高阶特征交互效果要好。
线性模型缺乏学习交互特征的能力,可以手动添加来解决这个问题,但是手动添加二阶特征泛化能力有限,而且在训练数据中也不一定能够观察到。
虽然FM模型考虑了高阶特征交互,但是,实际中由于复杂度较高,只考虑二阶特征交互。
几种相关方法的特点及局限性如下
本文主要贡献如下
网络结构图示如下
一些符号约定如下