DeepFM

• • 逻辑回归(LR)：更多考虑线性特征，缺少特征交叉性和高阶特征
• • DNN：考虑了高阶特征，缺少了对于低阶特征的考虑
• • CNN：考虑近邻特征的关系。较单一，适合图片分类
• • RNN：考虑更多的是数据时序性，较单一
• • FM：考虑更多低阶特征，缺少高阶特征
• • Wide&Deep：同时考虑了低阶特征和高阶特征，但是低阶特征需要手动交叉生成，对用户不友好
• • DeepFM：兼顾了低阶和高阶特征，且计算过程中不需要用户干预
    

DeepFM的架构可以分成三部分，分别是一阶特征处理linear部分，二阶特征交叉FM以及DNN的高阶特征交叉。

FM

FM Layer是由一阶特征和二阶特征Concatenate到一起在经过一个Sigmoid得到logits，所以在实现的时候需要单独考虑linear部分和FM交叉特征部分。
y ^ F M ( x ) = w 0 + ∑ i = 1 N w i x i + ∑ i = 1 N ∑ j = i + 1 N v i T v j x i x j \hat{y}_{FM}(x) = w_0+\sum_{i=1}^N w_ix_i + \sum_{i=1}^N \sum_{j=i+1}^N v_i^T v_j x_ix_j y^​FM​(x)=w