推荐模型-上下文感知-2015：FFM模型【在FM基础上引入特征域】【每个特征对应的不是唯一一个隐向量权重，而是一系列，与每个特征域都计算出一个隐向量权重】【FM：O(kn)；FFM：O(knf)】

u013250861

已于 2022-11-27 16:12:55 修改

阅读量407

点赞数

分类专栏： # RS/上下文推荐(FM因子分解系列) 文章标签：人工智能推荐系统 FFM

于 2021-10-31 22:45:00 首次发布

本文链接：https://blog.csdn.net/u013250861/article/details/121060974

版权

RS/上下文推荐(FM因子分解系列) 专栏收录该内容

18 篇文章 0 订阅

订阅专栏

Yuchin Juan et al. “Field-aware Factorization Machines for CTR Prediction” in RecSys 2016.

https://github.com/rixwew/pytorch-fm

2015年，Criteo基于FM提出的FFM在多项CTR预估大赛中夺魁，并被Criteo、美团等公司深度应用在推荐系统、CTR预估等领域。

FFM算法，全名 Field-aware Factorization Machines ，整整比FM算法多了一个F！多出来的F意为Field

相比FM模型，FFM模型引入了特征域感知（field-aware）这个概念，使模型的表达能力更强了。
在这里插入图片描述
FM、FFM模型只具备二阶特征交叉的能力。Deep Crossing模型可以通过调整神经网络的深度进行特征之间的“深度交叉”，这也是 Deep Crossing名称的由来。

(式 2-22 ) 是 FFM的数学形式的二阶部分。其与FM的区别在于隐向量由原来的变成了也 /2 ,这意味着每个特征对应的不是唯一一个隐向量，而是一组隐向量。当税特征与税特征进行交叉时，税特征会从税的这一组隐向量中挑出与特征税的域心对应的隐向量％后进行交叉。同理，/ 2也会用与税的域方对应的隐向量进行交叉。

这里所说的域( field ) 具体指什么呢？简单地讲，“域”代表特征域，域内的特征一般是采用one-hot编码形成的一段one-hot特征向量。例如，用户的性别分为男、女、未知三类，那么对一个女性用户来说，采用one-hot方式编码的特征向量为[0,1,0],这个三维的特征向量就是一个“性别”特征域。将所有特征域连接起来，就组成了样本的整体特征向量。

下面介绍Criteo FFM的论文⑹中的一个例子，更具体地说明FFM的特点。假设在训练推荐模型过程中接收到的训练样本如图2-11所示。
在这里插入图片描述
其中，Publisher、Advertiser、Gender 是三个特征域，ESPN、NIKE、Male 分别是这三个特征域的特征值(还需要转换成one-hot特征)。

如果按照 F M 的原理，特征 ESPN、NIKE和 M ale都有对应的隐向量 WESPN，WNiKE，WMaie，那么ESPN特征与NIKE特征、ESPN特征与Male特征做交叉的权重应该是WESPN , WNIKE和WESPN e WMale。其中，ESPN对应的隐向量WESPN在两次特征交叉过程中是不变的。

而在 FFM 中，ESPN与 NIKE、ESPN与 M ale交叉特殊的权重分别是 WESPN,A . WNIKE,P 和 WESPN,G • ^Malpo
细心的读者肯定已经注意到，ESPN在与NIKE和 Male交叉时分别使用了不同的隐向量WESPN,A和WESPN,G，这是由于 N IK E和 M ale分别在不同的特征域 Advertiser(A)和 Gender(G)导致的。

在 FFM模型的训练过程中，需要学习〃个特征在7个域上的左维隐向量，参数数量共九个。在训练方面，FFM的二次项并不能像FM那样简化，因此其复杂度为kn2o 一

相比FM, FFM引入了特征域的概念，为模型引入了更多有价值的信息，使模型的表达能力更强，但与此同时，FFM的计算复杂度上升到奶2 ,远大于FM的如。在实际工程应用中，需要在模型效果和工程投入之间进行权衡。
在这里插入图片描述