本文发现特征工程对低阶和高阶交互特征有明显偏向,本文提出了一种既关注低阶特征又关注高阶交互特征的模型:
DeepFM
,并在实验中发现模型有效。
问题描述
本文以预测CTR(Click-through rate)为目标,具体问题见博客:论文阅读【3】Deep & Cross Network for Ad Click Predictions。
本文核心思想
本文解决特征工程中偏向低阶交互特征和高阶交互特征的问题,DeepFM
结合了FM在低阶交互特征的学习和DNN
在高阶交互特征上的学习。
output layer:
y
^
=
s
i
g
m
o
i
d
(
y
F
M
+
y
D
N
N
)
\hat y=sigmoid(yFM +yDNN)
y^=sigmoid(yFM+yDNN),其中
y
F
M
yFM
yFM是FM层的输出表示低阶交互特征,
y
D
N
N
yDNN
yDNN是DNN的输出,表示高阶交互特征。
具体实现
FM
DNN
DNN由2部分组成,Embedding层将每一个field的特征规范成一个形状,后续的Hidden层则是常规的神经网络用于学习高阶表示。
为什么有效
DeepFM
是2个模型的结合,这两部分都已经各自有效,这保证了DeepFM
的有效性,实验也验证了这点。