deepFM—理论推导

阅读文章：

https://blog.csdn.net/ISMedal/article/details/100578354

一、初始印象

1、来源

DeepFM相当于将Wide & Deep模型中的Wide部分的LR换成了FM。

2、wide & deep的思想与结构实现

Wide & Deep Learning 模型的核心思想是结合广义线性模型的记忆能力（memorization，体现在使用的特征都是已有的单一特征，和已有的交叉特征）和深度前馈神经网络模型的泛化能力（generalization，体现在使用的特征是多个特征进行交叉的结果，甚至从未出现过的交叉）。利用广义线性模型从历史数据中学习特征相关性，利用深度前馈神经网络揭示隐式特征之间的相互作用。在训练过程中同时优化 2 个模型的参数，从而达到整体模型的预测能力最优。

2.1、wide部分就是lr

2.2、deep部分

是一个深度前馈神经网络，将输入先转为one-hot编码，再进行dense embedding，结果作为网络的输入。其中dense embedding就是一个仿射变换（全连接，无激活函数）。

2.3、联合训练

通过将