论文阅读【5】DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

本文发现特征工程对低阶和高阶交互特征有明显偏向，本文提出了一种既关注低阶特征又关注高阶交互特征的模型：DeepFM，并在实验中发现模型有效。

问题描述

本文以预测CTR(Click-through rate)为目标，具体问题见博客：论文阅读【3】Deep & Cross Network for Ad Click Predictions。

本文核心思想

本文解决特征工程中偏向低阶交互特征和高阶交互特征的问题，DeepFM结合了FM在低阶交互特征的学习和DNN在高阶交互特征上的学习。

output layer: $\hat{y}=sigmoid(yFM+yDNN)$，其中$yFM$是FM层的输出表示低阶交互特征，$yDNN$是DNN的输出，表示高阶交互特征。

具体实现

FM

DNN

DNN由2部分组成，Embedding层将每一个field的特征规范成一个形状，后续的Hidden层则是常规的神经网络用于学习高阶表示。

为什么有效

DeepFM是2个模型的结合，这两部分都已经各自有效，这保证了DeepFM的有效性，实验也验证了这点。