RS Meet DL(59)-FM家族的新朋友FAT-DeepFFM

今天给大家介绍的文章标题是：《FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine》
文章下载地址是：https://arxiv.org/abs/1905.06336

从本系列的第一篇开始，咱们已经陆续介绍过FM模型、FFM模型、DeepFM模型、NFM模型和AFM模型。今天给大家介绍的是FM家族中的另一个新朋友FAT-DeepFFM（全称是Field Attentive Deep Field- aware Factorization Machine），是由新浪微博的张俊林老师提出的哟，一起来学习下。

1、背景

点击率预估是计算广告以及推荐系统中非常重要的工作，学者们也提出了许多有效的模型来做CTR预估任务。如LR、树模型、贝叶斯模型、FM模型、FFM模型，以及深度学习模型如DeepFM、Wide & Deep模型等等。

同时，CTR模型中也经常借鉴其他领域的一些常用方法，如计算机视觉和自然语言处理中常用的方法，最为常见的是Attention机制。使用Attention机制可以从众多的特征中选择出比较重要的特征，并过滤掉一些无关特征。将注意力机制和深度学习CTR预估模型相结合，如AFM模型已经被学者们提出，AFM模型结构如下：

可以看到，上面的AFM模型，是在特征进行交叉之后，再对交叉特征进行权重计算，但本文认为，在特征进行交叉之前，对特征的重要性进行一个计算也十分重要。当特征为n个时，交叉后计算重要性的权重个数为n的平方，但是交叉前计算特征重要性的话，只需要计算n个权重。这么做的话在特征比较多的时候，对计算资源的节省是十分明显的。

好了，接下来，咱们就一步步来看看俊林老师提出的模型吧。

2、DeepFFM模型

在介绍FAT-DeepFFM之前，先介绍DeepFFM模型长什么样子，因为这个模型对大家来说应该也相当陌生。

2.1 FM模型

FM模型对每一个特征赋予一个