文章目录
Neural Factorization Machines for Sparse Predictive Analytics(2017)
(0) 个人小结
该文提出了一种新的模型 NFM,将FM中特征交叉项替换成深度神经网络,该模型由输入层、Embedding层、Bi-Interaction层、隐藏层和输出层组成,其中Bi-Interaction层可以学习特征的二阶信息。这个模型是FM与Deep串行方式连接,该模型可以学习特征之间深层次的信息。
(1) 研究目标
提出一种新的模型 – NFM
(2) 背景 & 问题描述
在推荐领域,数据一般非常稀疏,传统FM无法学习特征的深层次信息(FM一般用于学习特征的一阶和二阶特征信息,高阶特征信息面临复杂度高的问题)。Wide&Deep、DeepCross难以训练,易出现过拟合和梯度消失问题(NFM就没有这些问题了吗??)。
(3) 研究方法
NFM模型的公式如下:
其中前两项和FM一样,后一项的 f ( x ) f(x) f(x)是使用深度神经网络来实现。
f ( x ) f(x) f(x)的实现模型如下:
其中Embedding层是输入层向稠密向量的映射,只取非零特征的Embedding,然后将其输入至B-Interaction层,改成的操作为:
可以通过化简来降低其计算的复杂度(思路和FM化简类似),化简后为:
所以最终模型的等价公式为:
(4) 结论与展望
设计更好的神经网络“部件”(例如:该模型中的B-Interaction层)或新的网络架构,或者应用到其他领域如:搜索排序、定向广告等。