19【推荐系统10】从POLY2、FM到FFM——自动特征交叉的解决方案

已于 2022-03-24 18:08:57 修改
阅读量407 收藏
点赞数
分类专栏： 深度学习算法理论 文章标签： 推荐算法 深度学习 tensorflow 机器学习 python
于 2021-08-24 16:48:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43940950/article/details/119893677
版权
深度学习算法理论 专栏收录该内容
117 篇文章 16 订阅 ¥129.90 ¥299.90
订阅专栏
本文介绍了推荐系统中特征交叉的重要性，以解决线性模型如逻辑回归的局限性。从POLY2模型开始，通过特征的二阶交叉，到FM模型引入隐向量解决数据稀疏性问题，再到FFM模型引入特征域概念增强表达能力，阐述了模型的逐步优化。文章通过实例解释了辛普森悖论，展示了特征交叉的必要性，并探讨了不同模型的优缺点及训练复杂度。
摘要由CSDN通过智能技术生成

文章目录

1、前言

逻辑斯谛（Logistic）回归 模型不具备特征组合的能力，表达能力不强，会不可避免地造成有效信息的损失。在仅利用单一特征而非交叉特征进行判断的情况下，有时不仅是信息损失的问题，甚至会得出错误的结论。著名的“辛普森悖论”用一个非常简单的例子，说明了进行多维度特征交叉的重要性。

基础知识一什么是辛普森悖论

在对样本集合进行分组研究时,在分组比较中都占优势的一方， 在总评中有时反而是失势的一方，这种有悖常理的现象，被称为“辛普森悖论”。下面用一个视频推荐的例子进一步 说明什么是“辛普森悖论”。

假设表1和表2所示为某视频应用中男性用户和女性用户点击视频的数据。

在这里插入图片描述

<

了解本专栏 订阅专栏 解锁全文
炫云云
关注
专栏目录
订阅专栏
LR -＞ POLY2 -＞ FM -＞ FFM (从单阶特征到二阶交叉特征的引入及改进)
weixin_43646592的博客
02-08 603
搜广推 LR -＞ POLY2 -＞ FM -＞ FFM (从单阶特征到二阶交叉特征的引入及改进)
推荐系统 | 基础推荐模型 | 特征交叉 | FM | FFM | PyTorch实现
liujiesxs的博客
09-08 1735
FM与FFM模型的数理推导；FM与FFM模型在criteo数据集上的实验；代码框架采用PyTorch
推荐系统之FM，FFM
ineedstudytosurvive的博客
02-28 630
FM,FFM是推荐系统中常见的两种算法。 Clicked Publisher (P) Advertiser (A) Gender (G) Yes ESPN Nike Male FM的计算方式： wESPN · wNike + wESPN · wMale + wNike · wMale. FFM的计算方式： wESPN,A · wNike,P
深度学习-----------2.5（从FM到FFM）
WMM_123456的博客
06-02 258
自动特征交叉 2.5.1 POLY2模型——特征交叉的开始 POLY2模型的数学形式： 可以看到，该模型对所有特征进行量量交叉（xj1,xj2），并对所有的特征组合赋予权重wh(j1,j2)，POLY2通过暴力组合的方式，一定程度上解决了特征组合的问题，但是它仍旧属于线性模型，其训练方法与逻辑回归并无区别，因此便于工程上的兼容性。 但是POLY2存在缺陷： 1，数据稀疏导致特征无法进行交叉。 2，权重参数的数量由n直接上升到n2极大的增加了训练的复杂度。 2.5.2 FM——隐向...
FM/FFM
公众号：瑞行AI
04-20 793
FM背景及相关算法对比 （1）FM(factorization machine)是在LR(logistic regression)基础上，加入了特征的二阶组合项； （2）SVM和FM的主要区别在于，SVM的二元特征交叉参数是独立的，如wijw_{ij}wij​，而FM的二元特征交叉参数是两个k维的向量vi、vjv_i、v_jvi​、vj​，即&lt;vi，vj&gt;&lt...
FM与FFM
yeqiustu的博客
05-02 507
前面写到LR是个线性的概率二分类模型，SVM是个可以通过kernel引入非线性的线性二分类模型；LR的优点是简单、方便、易于求解，但缺点在于线性模型中假设不同特征之间是独立的，即没有考虑特征间的相互影响；为了解决简单线性模型无法学得特征间交叉影响的问题，SVM通过引入核函数来实现特征的交叉，而本篇要讲的FM（Factorization Machine）与FFM（Field Factorizatio...
从POLY2到FM再到FFM模型的演化过程。
忘川的博客
01-15 1588
文章目录POLY2模型FM模型FFM模型-引入特诊域的概念从POLY2到FFM的模型演化过程 POLY2模型 poly2模型进应用征的“暴力”组合的方式 该模型对所有的特征进行了两两交叉（特征Xj1X_j1Xj​1和 Xj2X_j2Xj​2），并对所有的特征组合赋予权Wh（j1,j2）W_h（j_1,j_2）Wh​（j1​,j2​）。POLY2通过暴力组合特征的方式，在一定程度上解决了特征组合的问题。 POLY2模型本质上仍然是线性模型，训练方法与逻辑回归一样。 POLY2存在缺陷： POLY2在进行无
推荐系统_03从FM到FFM(上篇)
u013717571的博客
11-08 105
1、FM模型原理 2、FM模型损失函数 关于损失函数可参考：​​​​​​【机器学习】log loss、logistic loss与cross-entropy的关系_littlemichelle-CSDN博客 3、FM模型训练 4、手动实现FM二分类例子 代码中使用的是随机梯度下降法： Git地址：https://github.com/WUYvonne/model_zoo/tree/main/FM 参考文档： https://zhuanlan.zhihu.c...
FM与FFM深入解析
weixin_30663471的博客
01-17 262
因子机的定义 机器学习中的建模问题可以归纳为从数据中学习一个函数，它将实值的特征向量映射到一个特定的集合中。例如，对于回归问题，集合 T 就是实数集 R，对于二分类问题，这个集合可以是{+1，-1}。对于监督学习，通常有一标注的训练样本集合 线性函数是最简单的建模函数，它假定这个函数可以用参数w来刻画， 对于回归问题，，而对于二分类问题，需要做对数几率函数变换（逻辑回归） ...
【推荐算法】FM高阶分解模型 - 含特征交叉、POLY2模型
weixin_50927106的博客
04-16 1352
FM高阶分解模型1.模型性质解析1.1 特征交叉1.2 POLY2模型1.3 FM模型2.代码实现思路2.1数据集2.2数据预处理2.3 实现思路 1.模型性质解析 1.1 特征交叉 1.2 POLY2模型 1.3 FM模型 2.代码实现思路 2.1数据集 diabetes_train.txt为大小499* 9的关于糖尿病患者的二分类训练数据集，最后一列为标签0/1。而diabetes_test.txt为大小267*9的二分类测试数据集 2.2数据预处理 分别训练集和测试集进行数据预处
python学习推荐系统_python机器学习：推荐系统实现（以矩阵分解来协同过滤）
weixin_42516600的博客
02-10 542
用户和产品的潜在特征编写推荐系统矩阵分解工作原理使用潜在表征来找到类似的产品。1. 用户和产品的潜在特征我们可以通过为每个用户和每部电影分配属性，然后将它们相乘并合并结果来估计用户喜欢电影的程度。​相同的计算可以表示为矩阵乘法问题。首先，我们把用户属性放在一个名为U的矩阵中，在这个例子中是5，-2，1，-5和5。然后，我们把电影属性放在一个名为M的矩阵中，我们使用矩阵乘法来找出用户的评分。​但要做...
推荐系统实战笔记2
qq_43753525的博客
09-08 310
推荐系统实践2 协同过滤：所有用户齐心协力，通过与网站的互动，不断过滤掉自己不感兴趣的物品 2.1 用户行为数据 显性反馈行为：评分和喜欢/不喜欢等直接表达喜好的行为 隐性反馈行为：如页面浏览等不能明确用户喜好的行为，一般分析用户会话日志得到该行为数据 2.2 用户行为分析 以用户购买过的物品数代表用户活跃度，以购买过该商品的用户数代表物品流行度 以物品流行度K为横坐标，以流行度为K的...
【推荐系统】POLY2、FM、FFM模型的进化之路
CSDN 精品推荐
11-15 686
文章目录POLY2模型FM模型FFM模型 POLY2模型 逻辑回归模型是CTR预测领域较为广泛使用的模型，原因有模型具备可解释性，良好的数学解释性，可以实现并行化提高效率，但是它有个缺点就是不能够捕捉数据的非线性关系，如果非要这样，一般情况下需要人工进行特征交叉，但是这样的成本较大，而且需要有经验的算法专家才能够交叉出好的特征，所以如果可以使用算法进行交叉，那么整个系统的工作效率将大大提高。 所以，这时产生了POLY2模型进行特征的 “暴力” 组合，它的原理很简单，就是将任意两个特征两两交叉，这将会新产生
推荐系统开发实战笔记（二）——数据集
weixin_44338928的博客
03-29 482
搭建推荐系统的一般步骤： 1.准备数据 2.选择算法 3.模型训练 1.效果评估 1.准备数据 数据是推荐按系统的基础，无论是简单的推荐系统还是大型的推荐系统，都需要一定的基础数据。这些数据不仅要包含进行推荐的商品，还要包含用户的行为日志。 Netflix数据集 ...
FM和FFM的知识总结（特征组合、公式化简、FM与FFM之间的联系与区别）
程序员晓老九
07-19 3539
FM 参考链接： 点击率预估算法：FM与FFM 读论文:FFM FM–2010–论文 FFM–2014–论文 FM在特征组合中的应用 FFM原理及公式推导 是2010年Stedden Rendle提出的，目的是解决稀疏数据的特征组合问题。 逻辑回归 公式1 y=w0+∑i=1nwixi y=w_{0}+\sum_{i=1}^{n} w_{i} x_{i} y=w0​+i=1∑n​wi​xi​ ...
从FM到FFM自动特征交叉的解决方案
WGS.
01-17 896
文章目录逻辑回归POLY2特征交叉的开始FM隐向量特征交叉FFM引入特征域FM源码演化 逻辑回归 由于矩阵分解的缺陷：不方便加入用户、物品、上下文环境等相关的特征，使得矩阵分解丧失了利用很多有效信息的机会。当缺乏用户历史行为的时候，无法进行有效推荐。 相比于协同过滤仅能利用用户与物品的相互信息进行推荐，逻辑回归可以综合利用用户、物品、上下文等不同的特征。它是将推荐问题看成一个分类问题，通过预测正样本的概率对物品进行排序。 逻辑回归虽然简单、可解释性好，但是模型不具备特征组合(特征交叉)的能力，只是对单一特征
推荐系统（5）——推荐算法2（POLY2-FM-FFM-GBDT-MLR）
weiyaner的博客
12-29 1946
文章目录1 CTR简介2 逻辑回归——融合多种特征的推荐模型2.1 基于逻辑回归的推荐流程2.2 LR的数学形式2.3 逻辑回归在推荐上的优劣分析1 优势2 局限3 从FM到FFM——特征自动交叉的解决方案3.1为什么需要特征交叉？——辛普森悖论3.2 POLY2模型——特征交叉的开始3.2 什么是FM1 从LFM说起2 FM解决了POLY2的特征交叉计算问题3 隐变量的理解4 梯度下降求参3.3 FFM模型——引入特征域的概念 1 CTR简介 CTR(click through rate)，点击率。是用户
【推荐系统-＞统计学】辛普森悖论(Simpson‘s paradox)
小明2766的博客
01-03 5987
辛普森悖论 辛普森悖论(Simpson’s paradox)，也有其他名称，是概率和统计中的一种现象，即一种趋势出现在几组数据中，但当这些组组合在一起时，趋势就会消失或逆转。 这个结果在社会科学和医学科学统计中经常遇到，并且当频率数据被过度地给出因果解释时尤其成问题。当混淆变量和因果关系在统计建模中得到适当解决时，这个悖论就可以解决。辛普森悖论已被用来说明滥用统计数据可能产生的误导结果。 例子 加州大学伯克利分校性别偏见 辛普森悖论最著名的例子之一来自一项对加州大学伯克利分校(University of C
深度学习与推荐系统实战：从FM到DeepFM
"推荐系统系列合集-2019" 是由石晓文创作的一套推荐系统相关的原创博客文章集合，涵盖了从基础到深度学习的应用，提供了推荐系统领域的最新知识总结，适合学习和参考。 在该合集中，讨论了多个推荐系统的重要模型和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

炫云云

你的鼓励是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值