推荐系统 - 排序算法 - 神经网络：FNN 论文阅读

1. 前言

FNN 在文章 Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction  中提出 论文地址

该篇论文于2016年发表，提出了基于FM预训练获取离散特征embedding表示(注意这里的“特征”指的是FFM中说的“field”，而不是FM中说的“特征”，比如“性别”算一个特征、“品类”算一个特征)，结合MLP来进行CTR的预估，因为思想比较简洁，放在现在来看已经不算特别新奇了。

2. 简介

在FM之后出现了很多基于FM的升级改造工作，由于计算复杂度等原因，FM通常只对特征进行二阶交叉。当面对海量高度稀疏的用户行为反馈数据时，二阶交叉往往是不够的，三阶、四阶甚至更高阶的组合交叉能够进一步提升模型学习能力。如何能在引入更高阶的特征组合的同时，将计算复杂度控制在一个可接受的范围内？

参考图像领域CNN通过相邻层连接扩大感受野的做法，使用DNN来对FM显式表达的二阶交叉特征进行再交叉，从而产生更高阶的特征组合，加强模型对数据模式的学习能力]。这便是本文所要介绍的FNN模型，下面将对FNN进行详细介绍。

3. FNN结构

FNN(Factorisation Machine supported Neural Network)的模型结构如下：