191018论文笔记之RS相关：因子分解机FM（一）

最新推荐文章于 2022-05-04 20:04:42 发布
最新推荐文章于 2022-05-04 20:04:42 发布
阅读量436 收藏
点赞数 1
文章标签： RS FM paper SVM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rushfree/article/details/102623543
版权

分解机FM是大阪大学Steffen Rendle将MF、SVD++、PITF和FPMC归纳出针对高稀疏数据的因子机，这个模型对于回归预测任务有着较好的泛化能力。

函数如下

                                                                                                 (1.1)

FM常用于回归预测任务，也就是通过学习出一个函数

来将一个n维的实值特征向量映射到一个目标域T。

最经典的线性回归模型函数可表示为

                                                                                                      (1.2)

显然在这一个模型中并没有包含特征变量之间的关系，仅仅学习了单个特征变量对于预测结果的影响。

因此在线性回归模型的基础上，考虑两个互异特征的影响

                                                                                                        (1.3)

但是此时作为系数在数据稀疏较高的情况下会使得无法学习到对应的系数。

因此我们将整体作为一个矩阵来考虑，使用MF（矩阵分解）将其分解

                                                                                                                                  (1.4)

                                                                                               (1.5)

最后我们获得了一个新的模型

                                                                                                  (1.6)

这是一个典型的2路或者说2阶FM，我们可以将其推广到d阶

                                        (1.7)

这种形式下特征变量相互关系较为复杂，所以以下皆讨论2阶FM

 

由于线性回归模型和线性不可分SVM与FM具有类似的形式。

所以我们将这两种模型拿来与FM进行比较

线性回归模型的缺陷在(1.2)(1.3)中已经阐述过了。

然后对于SVM，我们先回想一下，SVM分为线性可分、线性和线性不可分三大类：

线性可分支持向量机：简单的来说就是通过最大化margin(间隔)从而确定唯一能够确定二分类的超平面，如下图

                                                 

  分类函数为                                                                                                                  (2.1)

                                                    (2.2)         能够表示点x到距离超平面的远近

通过对构造出的拉格朗日函数求间隔最大即求最小，将其转换为对偶问题

                             为拉格朗日乘子        (2.3)

解得

                                                                                                                     (2.4)

带回得

                                                                         (2.5)

得出乘子带回W中，算出超平面的W和b

实际上就是将分类函数变为了

                                                                                        (2.6)

此处表示对于测试集的新划分点，只需计算其与训练数据点的内积

当问题变为线性不可分时，

                                   

我们考虑将其映射到高维

                                                                                                                               (3.1)

                                                                                                              (3.2)

当核函数为简单的线性核 K\left ( x,z \right ):=(\left \langle x,z \right \rangle+1)时，

SVM与一阶FM形式完全一样                                                                            (3.3)

而当核函数为多项式核 时，\hat{y}(x)=\omega _{0}+\sqrt{2}\sum_{i}^{n} \omega _{i}x_{i}+\sum_{i}^{n} \omega_{i,i}^{(2)}x_{i}^{2}+\sqrt{2}\sum_{i}^{n}\sum_{j=i+1}^{n} \omega_{i,i}^{(2)}x_{i}x_{j} \left ( d=2 \right )                                                    (3.4)

 

此时就像(1.3)(1.4)(1.5)提到过的一样在数据稀疏的情况下\omega无法学习到。

                                                          640?wx_fmt=png

与线性回归模型一样与FM相比SVM同样不够优秀

 

 

与此同时，我们可以来计算一下FM的时间开销，我们直接通过公式计算

                                               （4.1）

时间开销看起来要比线性回归模型和SVM要大得多

但是我们可以对第二个花括号所对应的进行优化

                                                                                                 （4.2）

因此FM的计算复杂度变为                         （4.3）

 

优化问题：优化目标为模型的整体损失函数

                                                                                                                                (5.1)

对于回归问题损失函数取平方误差                                                                                 (5.2)

对于二分类问题损失函数取logit函数                                                                             (5.3)

                                                      \sigma\left ( \theta\right )=\prod_{i=1}^{m}P\left ( y_{i}|x_{i};\theta \right )=\prod_{i=1}^{m}\left ( h_{\theta }\left ( x_{i} \right ) \right )^{y_{i}}\left ( 1-h_{\theta }\left ( x_{i} \right ) \right )^{1-y_{i}}                          (5.4)                 

加入L2正则项防止过拟合

                                                                                                 (5.5)

学习方法：

随机梯度下降SGD

                                                                                              (5.6)

根据凸函数的梯度计算下降到的最小值也就是 理想的参数

 

FM和其他的分解模型比较

 

MF

MF较为简单，FM将输入数据调整为

                                                            

FM函数变为                                   

 

SVD++

首先从SVD讲起。SVD将（用户评分矩阵）矩阵分解如下

                                                                

                        

事实上在实际运用传统SVD来求得三个分解矩阵时效率很差，所以就提出了FunkSVD 或者说LFM

 

我们希望能像MF一样分解成                        

通过最小化这个式子                                      

当然要优化的正式目标函数是这个

                                           

导数为

                                                                    

通过梯度下降法得到迭代公式       

                                                       

                                                               

最终得出任意一矩阵存在其分解如下    

                                                                                     

对于某一预测评分有

                                                        

这一评分预测完全基于已知评分理所当然地会出现过拟合的情况，因此我们对于评分和损失函数加上惩罚项。由于不清楚哪个变量对于过拟合影响较大，因此将所有变量都进行惩罚

                             

                                                                   \hat{\gamma }_{ui}=pb_{u}+pb_{i}+p_{u}^{T}q_{i}

用户对于的商品打分或许还会基于用户和商品独有的性质(当然带有偏置的SVD也可以加入惩罚项)

因此有                                            

而SVD++ 就是将Pu用户评分矩阵替换为用户行为记录（评分+浏览以及评过分的商品集合）即

                           

而FM可以将公式中的输入数据x调整为

                        

其中一部分就是SVD++

 

PITF

FPMC

 

参考资料：CSDN博客  https://www.cnblogs.com/pinard/p/6370127.html

                                     https://blog.csdn.net/zhongkejingwang/article/details/43053513

                                     https://blog.csdn.net/liugan528/article/details/79448379

                                     https://blog.csdn.net/v_JULY_v/article/details/7624837

                知乎             https://zhuanlan.zhihu.com/p/50426292

               李航  统计学习方法

               论文大阪大学Steffen Rendle  https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf

rushfree
关注
RS笔记：深度推荐模型之多任务学习PLE模型 [RecSys 2020 最佳论文 腾讯]
捡起一束光的博客
09-01 800
PLE(Progressive Layered Extraction)模型由腾讯PCG团队在2020年提出，发表在RecSys 2020上，这篇paper获得了recsys’20的best paper award，也算为腾讯脱离技术贫民的大业添砖加瓦了。这篇文章号称极大的缓解了多任务学习中存在的两大顽疾：**负迁移**（negative transfer）现象和**跷跷板**（seesaw phenomenon），由此带来了相比较其他MTL模型比较大的性能提升。...
论文解读：Factorization Machine(FM)
weixin_44441131的博客
01-23 914
文章目录概述摘要1 Introduction2. Prediction under sparisity3. Factorization Machine(FM)Summary 概述 一种解决大规模稀疏数据下的特征组合问题的机器学习模型，它在工业界有一些很常用的应用场景。 推荐系统： 比如一个电商(某宝)，它有100w种商品，每一个用户有一个账户，平台可以给用户推荐相应的产品。由于每个用户真实购买的商品非常少，不可能把所有商品都买一遍或者浏览一遍(土豪除外)，那么用户对产品是否喜好的这个样本数据就会非常稀疏
因子分解机FM
Victoria_yangyu的博客
07-18 234
因子分解机FM 阅读完博文https://blog.csdn.net/ddydavie/article/details/82667890 https://www.cnblogs.com/makefile/p/ffm.html之后关于因子分解机的感悟 问题背景：人工方式的特征工程尝尝会面临一个问题就是特征组合。面对高维数据，训练模型常遇到的问题包括：特征组合无法识别，特征爆炸。 因子分解机是解决特征关联的有效算法，并且还解决了数据稀疏性的问题。 ...
【推荐算法系列一】FM因子分解机模型
RessCris的博客
05-04 1029
文章目录算法简述数学公式因子分解机模型二项交互的推导，使复杂度降低到 线性进一步转换为矩阵形式输入数据稀疏适用代码实现 原论文地址：FM 参考代码：推荐算法(一)——FM因式分解(原理+代码) 算法简述 相比于一般的线性模型，FM模型将交叉特征的影响考虑在内。 也适用于处理输入数据稀疏的情况。 数学公式 因子分解机模型 二项交互的推导，使复杂度降低到 线性 进一步转换为矩阵形式 ym×1=W0m×1+Xm×nW1n×1+12(∑((Xm×nVn×k−Xm×n2Vn×k2)m×k))m×1y_{m\tim
FM因子分解机学习笔记
赵大宝的博客
07-24 635
References： https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf 美团：深入FFM原理与实践
因子分解机Factorization Machine
wonengguwozai的博客
01-14 405
在看推荐领域论文时提到了FM(因子分解机)，于是搜集资料梳理了一下，以下知乎文章讲的比较好并且其引文中的讲解质量也很高，贴在下面，如侵权请通知，第一时间删除。 前言 本文要讲解的FM(Factorization Machine)名字听起来非常硬核，但原理其实很简单。只是在普通线性模型的基础上增加了二阶(或更高阶)的特征交叉，利用矩阵分解的思想把 n∗nn*nn∗n的权重矩阵映射到 n∗kn*kn∗k 的空间内。 正文 1. 首先看一下普通线性模型的公式： 普通的线性模型有一个明显的短板，模型本身只考虑.
因子分解机 FM
浮汐潇潇
03-30 375
目录背景FM因子分解机FM模型的核心作用可以概括为三个与其他模型对比FFM（场感知分解机,Field-aware Factorization Machine）背景DeepFMFM/FFM与其它模型对比 背景 在人工方式的特征工程，通常有两个问题： 1、特征爆炸 2、大量重要的特征组合都隐藏在数据中，无法被专家识别和设计 针对上述两个问题，广度模型和深度模型提供了不同的解决思路。 1、广度模型包括FM/FFM等大规模低秩(Low-Rank)模型，FM/FFM通过对特征的低秩展开，为每个特征构建隐式向量，并通过
FM（因子分解机系列）
乐享极客
07-12 8545
因子分解机，FFM，线性回归
191018论文笔记之RS相关：分解模型FPMC 分解个性化马尔可夫链
The Lake-me of Calibur
10-22 2517
由于这篇我的博客归纳的论文追根溯源地看了FPMC，大概地归纳一下。 ======================================= 论文标题：Factorizing Personalized Markov Chains for Next-Basket Recommendation FPMC模型主要用于推荐系统中预测未知物品引起用户兴趣的可能性并以此排出物品推荐列表 FPMC...
#nowplaying-RS：使用分解机的音乐推荐_R_Python_下载.zip
04-23
在这个名为"#nowplaying-RS：使用分解机的音乐推荐_R_Python_下载.zip"的压缩包文件中，我们可以预见到一个关于音乐推荐系统的项目。这个项目可能是用R语言和Python结合来实现的，利用了分解机（Factorization ...
config-rs：:gear_selector:用于Rust应用程序的分层配置系统（强烈支持12因子应用程序）
02-03
**config-rs** 是一个专为 Rust 应用程序设计的分层配置管理库，它致力于提供一套强大而灵活的工具来处理应用的配置需求。这个库特别强调对 **12 因子应用程序**（12-Factor App）的支持，这是一套指导现代Web应用...
FM24CL64B-GTR、MB85RS64驱动代码
12-19
FM24CL64B-GTR与MB85RS64是两种常见的非易失性存储器（NVM）芯片，常用于数据存储和配置应用。这两种芯片属于串行I²C接口的电可擦除可编程只读存储器（EEPROM），在嵌入式系统和物联网设备中广泛使用。驱动代码是...
因子分解机（Factorization Machines）
sherwinzhang的博客
11-08 1467
因子分解机（Factorization Machines） 在推荐系统中，CTR（click-through rate）预估是非常重要的环节，其主要是用于判断一个商品是否被用于推荐。谈到CTR预估，有一个算法不得不提一下，LR（logistic regression）逻辑回归。 在推荐系统发展的历史长河中，LR绝对有浓墨重彩的一笔。比如在2020年和微博做算法的同学交流，对方称他们依旧在推荐中使用LR，当然这离不开其非常容易实现大规模实时并行处理的优势。 我们知道LR模型其实是一种线性的学习模型，所以它并
Factorization Machines（因子分解机）
RRZS的博客
02-10 2094
本文是大阪大学的Steffen Rendle 文章Factorization Machines ，该作者是因子分解机的提出者，后续又对其进行改进，本文是对其原始论文的解读。一、FM的优点在于其可以提取用户和项目的交叉特征，由于在提取特征的时候采用的是类似矩阵分解的方法，可通过控制特征的维数k来保持模型的泛华能力，避免过拟合的问题，在稀疏数据下仍然适用。二、FACTORIZATIONMACHINES...
因子分解机(FM)家族
realnuannuan的博客
06-24 3324
写在前面的话   在深度学习(Deep Learning，以下简称DL)大行其道的今天，因子分解机(Factorization Machines，以下简称FM)以其模型简单、可解释性强等优点在搜索广告与推荐算法领域中仍旧占有一席之地。笔者认为FM开拓出了两个新思路：首先就是在线性复杂度范围内实现二阶特征的自动组合；再者就是embedding思想的引入，这其实是作者始料未及的(FM原文中作者意图是通...
因子分解机 FM和FFM
韦人人韦
09-12 1万+
因子分解机 Factorization Machine 因子分解机主要是考虑了特征之间的关联。 FM主要是为了解决数据稀疏的情况下，（而SVM无法解决稀疏问题），特征怎样组合的问题。 数据稀疏是指数据的维度很大，但是其中为0的维度很多。推荐系统是常见应用场景，原因是推荐系统中类别属性（如商品id）比较多，每一种类别属性经过onehot处理后会产生大量值为0的特征，导致样本变得稀疏，而FM就可...
简单易学的机器学习算法——因子分解机(Factorization Machine)
热门推荐
null的专栏
05-06 6万+
一、因子分解机FM的模型 因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解的机器学习算法。1、因子分解机FM的优势 对于因子分解机FM来说，最大的特点是对于稀疏的数据具有很好的学习能力。现实中稀疏的数据很多，例如作者所举的推荐系统的例子便是一个很直观的具有稀疏特点的例子。2、因子分解机FM的模型
因子分解机（Factorization Machines ）知识点总结
qm5132的博客
05-19 2473
最近遇到海量稀疏数据，尝试logistic regression之后发现模型效果不理解，尝试LR的非线性版本——因子分解机，下面记录下FM（Factorization Machines）的知识点~ 1、目的、优缺点 目的：在特征稀疏情况下，特征如何组合，如何构建非线性超平面。 优缺点： （1）特征稀疏时，模型仍能参数估计（SVM会失败） （2）可以基于原始形式进行优化（需要像SVM一样借...
一些对因子分解机介绍的比较详细的网站
fragrance313的专栏
09-26 940
1. https://tracholar.github.io/machine-learning/2017/03/10/factorization-machine.html 2. https://plushunter.github.io/2017/07/13/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95%E7%B3%BB%E5%88%...
rs2::pipeline d345i相机开发
最新发布
01-25
rs2::pipeline d345i是一款先进的相机开发工具，可以帮助开发者快速高效地进行视觉系统开发。它具有强大的功能和灵活的接口，可以满足各种复杂的视觉需求。 首先，rs2::pipeline d345i拥有丰富的功能和接口，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值