FM算法(Factorization Machine)

因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解的机器学习算法。目前,被广泛的应用于广告预估模型中,相比LR而言,效果强了不少。

一、FM背景

FM(Factorization Machine)主要目标是:解决数据稀疏的情况下,特征怎样组合的问题。以一个广告分类的问题为例,根据用户画像、广告位以及一些其他的特征,来预测用户是否会点击广告(二分类问题)。数据如下:
这里写图片描述
Clicked?是分类值,表明用户是否点击了此广告。1表示点击,0表示未点击。而Country,Day,Ad_type则是Categorical特征(类别特征),一般都是进行one-hot编码处理。

将上面的离散特征数据进行one-hot编码以后(假设Country,Day,Ad_type类别只有图中几种),如下图所示

这里写图片描述

显然可以看出,特征从最初的3个变成了现在的7个。而实际工程当中,由于有的Categorical特征维度会非常大(比如地区等),如果采用One-Hot编码,那么互联网公司的动辄上亿个特征的数据集就是这么来的了。

因式分解机是一种基于LR模型的高效的学习特征间相互关系,
对于因子分解机FM来说,最大的特点是对于稀疏的数据具有很好的学习能力。

二、FM优点

  • ① FMs allow parameter estimation under very sparse data where SVMs fails.(FM模型可以在非常稀疏的数据中进行合理的参数估计,而SVM做不到这点)

  • ② **FMs have linear complexity,**can be optimized in the primal and do not rely on support vectors like SVMs.
    在FM模型的复杂度是线性的,优化效果很好,而且不需要像SVM一样依赖于支持向量。)

  • FMs are a general predictor that can work with any real valued feature vector. In contrast to this, other state-of-the-art factorization models work only on very restricted input data.
    FM是一个通用模型,它可以用于任何特征为实值的情况。而其他的因式分解模型只能用于一些输入数据比较固定的情况。)

三、FM模型

在一般的线性模型中,是各个特征独立考虑的,没有考虑到特征与特征之间的相互关系。但实际上,大量的特征之间是有关联的。最简单的以电商为例,一般女性用户看化妆品服装之类的广告比较多,而男性更青睐各种球类装备。那很明显,女性这个特征与化妆品类服装类商品有很大的关联性,男性这个特征与球类装备的关联性更为密切。如果我们能将这些有关联的特征找出来,显然是很有意义的。

一般的线性模型为( n 为特征维度):

y=ω0+i=1nωixi

对于度为2的因子分解机(FM)的模型为:

y=ω0+i=1nωixi+i=1n1j=i+1n<vi,vj>xixj

其中, vRn,k <vi,vj> <script type="math/tex" id="MathJax-Element-551"><\mathbf v_i,\mathbf v_j></script>表示的是两个大小为 k 的向量之间的点积

<vi,vj>=f=1kvi,fvj,f

与线性模型相比,FM的模型就多了后面特征组合的部分。

四、FM求解

在基本线性回归模型的基础上引入交叉项,如下:

y=ω0+i=1nωixi+i=1n1j=i+1nωijxixj

组合部分的特征相关参数共有 n(n1)2 个。但是在数据很稀疏的情况下,满足 xi , xj 都不为0的情况非常少,这样将导致 ωij 无法通过训练得出,无法对相应的参数进行估计。

这里,采用的方法是:对每一个特征分量 xi 引入辅助向量 vi=(vi1,vi2,...,vik) 。然后,利用 vivTj 对交叉项的系数 ωij 进行估计

ω^ij=vivTj


这里写图片描述

这里写图片描述

这就对应了一种矩阵的分解。对 k 值的限定,对FM的表达能力有一定的影响,下图为论文中说明的k值选取原则。

这里写图片描述

下面,求 <vi,vj> <script type="math/tex" id="MathJax-Element-1255"><\mathbf v_i ,\mathbf v_j></script>,这块的求解用到了
((a+b+c)2a2b2c2)/2 求出交叉项。过程如下:
这里写图片描述


参考资料

程序化广告交易中的点击率预估

简单易学的机器学习算法——因子分解机(Factorization Machine)

相关推荐
<p> <span style="font-size:18px;">深度学习和神经网络隶属于机器学习范畴,但是由于它在行业中应用广泛、研究成果显著,成为当下最热门的研究领域,因此深度学习就作为一门独立的学科被提出来了。</span> </p> <p> <span style="font-size:18px;">本课程使用的开发工具为<span style="color:#ff0000;">TensorFlow2.X</span>,如果你刚接触TensorFlow2,“墙裂”建议你从TensorFlow2学起,因为Google团队对其做了<span style="color:#ff0000;">重大调整</span>,它极大降低了开发者学习的门槛,更加简单,易用,开发者更多的应该关注深度学习算法本身。</span> </p> <p> <span style="font-size:18px;">本课程知识覆盖全面,项目案例丰富,以项目为导向,通过动态图形展现推理过程,深入浅出,从原理到实践均能很快掌握。</span> </p> <p> <span style="font-size:18px;">课程编排如下:</span> </p> <ol> <li> <span style="font-size:18px;">神经网络原理神经元,单层感知器,多层感知器</span> </li> <li> <span style="font-size:18px;">TensorFlow2.X基础环境搭建,常用函数,线性回归实现</span> </li> <li> <span style="font-size:18px;">全连接神经网络前馈神经网络,全连接神经网络,神经网络搭建,手写数字识别,衣物识别</span> </li> <li> <span style="font-size:18px;">模型优化模型复杂度,损失函数,学习率,优化器,图片增强,dropout</span> </li> <li> <span style="font-size:18px;">CNN卷积神经网络原理,LeNet5,AlexNet,VGGNet,InceptionNet,ResNet,物品识别</span> </li> <li> <span style="font-size:18px;">RNN循环神经网络原理,LSTM,GRU,股票预测</span> </li> <li> <span style="font-size:18px;">BP神经网络正向传播,反向传播</span> </li> <li> <span style="font-size:18px;">实战项目猫狗大战,人工智能古诗</span> </li> </ol> <p>   </p> <p> 问:学习本课程需要哪些前置知识? </p> <p> 答:基本的Python编程知识,对机器学习的线性回归和逻辑回归有简单的认识即可。 课程中会专门开辟一章用于讲解TensorFlow2的知识,即使没有TensorFlow编程经验,也能快速掌握。 </p> <p> <span style="font-size:18px;color:#e53333;"><strong>注意:</strong></span> </p> <p> <span style="font-size:18px;"><strong><span style="color:#e53333;">全套数据集和实现代码</span>在<span style="color:#e53333;">第一章的第一个视频</span>位置下载。</strong></span> </p> <p> <span style="font-size:18px;"><strong><span style="color:#e53333;">每章的PPT</span>在<span style="color:#e53333;">每章的第一个视频</span>位置下载。</strong></span> </p>
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页