美团团队的不少文章都不错
http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
自己实现了一把,用python,速度慢于台大的libffm,但效果更好。
几个注意点:
1)label与loss function之间的关系。。。
2)梯度计算时的 中间数据 预计算
3)AdaGrad自适应学习速率。。。
4)使用SGD优化
5)Field-aware Factorization Machine,每个参数都不再独立了,更少的数据能够训练出更好的模型。。。
假设样本的 n n 个特征属于 f f 个field,那么FFM的二次项有 nf nf个隐向量。而在FM模型中,每一维特征的隐向量只有一个。FM可以看作FFM的特例,是把所有特征都归属到一个field时的FFM模型。根据FFM的field敏感特性,可以导出其模型方程。
其中, fj fj 是第 j j 个特征所属的field。如果隐向量的长度为 k k,那么FFM的二次参数有 nfk nfk 个,远多于FM模型的 nk nk 个。此外,由于隐向量与field相关,FFM二次项并不能够化简,其预测复杂度是 O(kn2) O(kn2)。
后记:
下面,由于“第一”是ffm默认处理的,所以“第二”、“第三”就需要自己在把数据转换成libffm的数据格式时,处理完毕。。。(真的只有在用的时候,才会注意到各种细节。。。)
在训练FFM的过程中,有许多小细节值得特别关注。
第一,样本归一化。FFM默认是进行样本数据的归一化,即 pa.norm pa.norm 为真;若此参数设置为假,很容易造成数据inf溢出,进而引起梯度计算的nan错误。因此,样本层面的数据是推荐进行归一化的。
第二,特征归一化。CTR/CVR模型采用了多种类型的源特征,包括数值型和categorical类型等。但是,categorical类编码后的特征取值只有0或1,较大的数值型特征会造成样本归一化后categorical类生成特征的值非常小,没有区分性。例如,一条用户-商品记录,用户为“男”性,商品的销量是5000个(假设其它特征的值为零),那么归一化后特征“sex=male”(性别为男)的值略小于0.0002,而“volume”(销量)的值近似为1。特征“sex=male”在这个样本中的作用几乎可以忽略不计,这是相当不合理的。因此,将源数值型特征的值归一化到 [0,1] [0,1] 是非常必要的。
第三,省略零值特征。从FFM模型的表达式 (4) (4)可以看出,零值特征对模型完全没有贡献。包含零值特征的一次项和组合项均为零,对于训练模型参数或者目标值预估是没有作用的。因此,可以省去零值特征,提高FFM模型训练和预测的速度,这也是稀疏样本采用FFM的显著优势。
http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
FM和FFM模型是最近几年提出的模型,凭借其在数据量比较大并且特征稀疏的情况下,仍然能够得到优秀的性能和效果的特性,屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中,探索并使用了FM和FFM模型进行CTR和CVR预估,并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。
前言
在计算广告领域,点击率CTR(click-through rate)和转化率CVR(conversion rate)是衡量广告流量的两个关键指标。准确的估计CTR、CVR对于提高流量的价值,增加广告收入有重要的指导作用。预估CTR/CVR,业界常用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR[1][2][3]、FM(Factorization Machine)[2][7]和FFM(Field-aware Factorization Machine)[9]模型。在这些模型中,FM和FFM近年来表现突出,分别在由Criteo和Avazu举办的CTR预测竞赛中夺得冠军[4][5]。
考虑到FFM模型在CTR预估比赛中的不俗战绩,美团点评技术团队在搭建DSP(Demand Side Platform)[6]平台时,在站内CTR/CVR的预估上使用了该模型,取得了不错的效果。本文是基于对FFM模型的深度调研和使用经验,从原理、实现和应用几个方面对FFM进行探讨,希望能够从原理上解释FFM模型在点击率预估上取得优秀效果的原因。因为FFM是在FM的基础上改进得来的,所以我们首先引入FM模型,本文章节组织方式如下:
- 首先介绍FM的原理。
- 其次介绍FFM对FM的改进。
- 然后介绍FFM的实现细节。
- 最后介绍模型在DSP场景的应用。
FM原理
FM(Factorization Machine)是由Konstanz大学Steffen Rendle(现任职于Google)于2010年最早提出的,旨在解决稀疏数据下的特征组合问题[7]。下面以一个示例引入FM模型。假设一个广告分类的问题,根据用户和广告位相关的特征,预测用户是否点击了广告。源数据如下[8]
Clicked? | Country | Day | Ad_type |
---|---|---|---|
1 | USA | 26/11/15 | Movie |
0 | China | 1/7/14 | Game |
1 | China | 19/2/15 | Game |
"Clicked?"是label,Country、Day、Ad_type是特征。由于三种特征都是categorical类型的,需要经过独热编码(One-Hot Encoding)转换成数值型特征。
Clicked? | Country=USA | Country=China | Day=26/11/15 | Day=1/7/14 | Day=19/2/15 | Ad_type=Movie | Ad_type=Game |
---|---|---|---|---|---|---|---|
1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 |
0 | 0 | 1 | 0 | 1 | 0 | 0 | 1 |
1 | 0 | 1 | 0 | 0 | 1 | 0 | 1 |
由上表可以看出,经过One-Hot编码之后,大部分样本数据特征是比较稀疏的。上面的样例中,每个样本有7维特征,但平均仅有3维特征具有非零值。实际上,这种情况并不是此例独有的,在真实应用场景中这种情况普遍存在。例如,CTR/CVR预测时,用户的性别、职业、教育水平、品类偏好,商品的品类等,经过One-Hot编码转换后都会导致样本数据的稀疏性。特别是商品品类这种类型的特征,如商品的末级品类约有550个,采用One-Hot编码生成550个数值特征,但每个样本的这550个特征,有且仅有一个是有效的(非零)。由此可见,数据稀疏性是实际问题中不可避免的挑战。
One-Hot编码的另一个特点就是导致特征空间大。例如,商品品类有550维特征,一个categorical特征转换为550维数值特征,特征空间剧增。
同时通过观察大量的样本数据可以发现,某些特征经过关联之后,与label之间的相关性就会提高。例如,“USA”与“Thanksgiving”、“China”与“Chinese New Year”这样的关联特征,对用户的点击有着正向的影响。换句话说,来自“China”的用户很可能会在“Chinese New Year”有大量的浏览、购买行为,而在“Thanksgiving”却不会有特别的消费行为。这种关联特征与label的正向相关性在实际问题中是普遍存在的,如“化妆品”类商品与“女”性,“球类运动配件”的商品与“男”性,“电影票”的商品与“电影”品类偏好等。因此,引入两个特征的组合是非常有意义的。
多项式模型是包含特征组合的最直观的模型。在多项式模型中,特征 xi xi 和 xj xj 的组合采用 xixj xixj 表示,即 xi xi 和 xj xj都非零时,组合特征 xixj xixj 才有意义。从对比的角度,本文只讨论二阶多项式模型。模型的表达式如下
其中, n n 代表样本的特征数量, xi xi 是第 i i 个特征的值, w0 w0、 wi wi、 wij wij 是模型参数。
从公式 (1) (1)可以看出,组合特征的参数一共有 n(n−1)2 n(n−1)2 个,任意两个参数都是独立的。然而,在数据稀疏性普遍存在的实际应用场景中,二次项参数的训练是很困难的。其原因是,每个参数 wij wij 的训练需要大量 xi xi 和 xj xj 都非零的样本;由于样本数据本来就比较稀疏,满足“ xi xi 和 xj xj 都非零”的样本将会非常少。训练样本的不足,很容易导致参数 wij wij 不准确,最终将严重影响模型的性能。
那么,如何解决二次项参数的训练问题呢?矩阵分解提供了一种解决思路。在model-based的协同过滤中,一个rating矩阵可以分解为user矩阵和item矩阵,每个user和item都可以采用一个隐向量表示[8]。比如在下图中的例子中,我们把每个user表示成一个二维向量,同时把每个item表示成一个二维向量,两个向量的点积就是矩阵中user对item的打分。
类似地,所有二次项参数 wij wij 可以组成一个对称阵 W W(为了方便说明FM的由来,对角元素可以设置为正实数),那么这个矩阵就可以分解为 W=VTV W=VTV, V V 的第 j j 列便是第 j j 维特征的隐向量。换句话说,每个参数 wij=⟨vi,vj⟩ wij=⟨vi,vj⟩,这就是FM模型的核心思想。因此,FM的模型方程为(本文不讨论FM的高阶形式)