【推荐算法】FM高阶分解模型 - 含特征交叉、POLY2模型

已于 2022-07-03 12:09:04 修改
阅读量984 收藏 3
点赞数
分类专栏： python 文章标签： 推荐算法
于 2022-04-16 00:21:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50927106/article/details/124206785
版权

FM高阶分解模型

1.模型性质解析

1.1 特征交叉

在这里插入图片描述

1.2 POLY2模型

在这里插入图片描述

1.3 FM模型

在这里插入图片描述
在这里插入图片描述

2.代码实现思路

2.1数据集

diabetes_train.txt为大小499* 9的关于糖尿病患者的二分类训练数据集，最后一列为标签0/1。而diabetes_test.txt为大小267*9的二分类测试数据集
在这里插入图片描述

2.2数据预处理

分别训练集和测试集进行数据预处理，包括如下几点:

  • 将二分类的标签结果0/1转变成1/-1，为了后续计算
  • 将8个特征归一化，为提升收敛速度以及提升模型的精度，防止模型梯度爆炸，即将特征值映射到[0 ，1]之间

处理结果👇

在这里插入图片描述
在这里插入图片描述

2.3 实现思路

在这里插入图片描述

司六米希
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
POLY2-FM-FFM笔记
zhu_xian_gang的博客
11-22 117
POLY2-FM-FFM笔记，详细介绍了从POLY2到FM再到FFM的过程。
推荐系统（5）——推荐算法2（POLY2-FM-FFM-GBDT-MLR）
weiyaner的博客
12-29 1364
文章目录1 CTR简介2 逻辑回归——融合多种特征的推荐模型2.1 基于逻辑回归的推荐流程2.2 LR的数学形式2.3 逻辑回归在推荐上的优劣分析1 优势2 局限3 从FM到FFM——特征自动交叉的解决方案3.1为什么需要特征交叉？——辛普森悖论3.2 POLY2模型——特征交叉的开始3.2 什么是FM1 从LFM说起2 FM解决了POLY2的特征交叉计算问题3 隐变量的理解4 梯度下降求参3.3 FFM模型——引入特征域的概念 1 CTR简介 CTR(click through rate)，点击率。是用户
【学习笔记】学习特征交叉类经典模型POLY2、FM、FFM
JinyuZ1996的博客
11-30 3459
特征交叉类经典推荐模型——POLY2、FM、FFM 　　本系列第四篇文章，我们来学习一下什么是特征交叉类推荐模型。这同样是一系列非常经典的推荐系统模型。上一节我们也说到了，逻辑回归LR模型很简单，同时它的表达能力不是很强，会不可避免的造成信息丢失。有很大的局限性，最主要的就是他无法同时考虑多维特征共同作用的影响，也就是特征交叉的重要作用。因为我们知道的，有些情况下仅仅依靠单一的特征而非交叉特征进行判断的情况下有时不仅会导致信息损失，甚至可能导致得出的结论是错误的。如果大家曾经了解过‘辛普森悖论’，那么也许
Factorization Machine 详解（三）—— FM与高阶特征训练
lijingru1的博客
03-29 1784
Factorization Machine 详解（三）—— FM与高阶特征训练 之前的文章回顾： FM基础概念的介绍与训练方法 FM开源库LibFM简介与使用 可以看到，FM主要用于推测推荐系统中不同特征之间的关联，尤其适用于稀疏数据的推荐。然而，Rendle等提出的基础FM模型一般只能推测2-way的特征关系，而对于更高阶的特征关系则缺乏更为有效的训练手段。另外，在传统的FM模型中，目标函数...
机器学习简单小总结 解决糖尿病分类问题和sin函数回归问题
qq_40708167的博客
10-07 1081
文章目录记录数据分析分类任务回归任务BP分类任务SVM分类任务beyesian分类任务BP回归任务线性回归小结相关代码读入数据及其分析朴素贝叶斯分类器支持向量机分类器BP神经网络分类器支持向量机cpp版BP神经网络回归多元线性回归 记录 数据分析 分类任务 数据信息 数据条数 标签为1 标签为0 数据维度 576 197 379 8 数据分析 由图像可分析,糖尿病患者其属性大部分都略高于正常人，1、2、8属性尤为明显 3、4,、5属性与正常人差异几乎没有。 回归任务 5
FM.zip_FM算法_分解机模型
09-21
因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解的机器学习算法。
基于状态空间模型和概率矩阵分解的推荐算法
04-30
针对此问题，提出一种基于状态空间模型和概率矩阵分解的推荐算法。首先将用户兴趣特征向量与用户评分数据的矩阵分解映射到线性高斯状态空间中；然后使用EM算法和卡尔曼滤波器对模型参数进行动态求解；最后根据前后...
科普篇 | 推荐系统之矩阵分解模型
01-06
《科普篇 | 推荐系统之矩阵分解模型》 《原理篇 | 推荐系统之矩阵分解模型》 《实践篇 | 推荐系统之矩阵分解模型》 第一篇用一个具体的例子介绍了MF是如何做推荐的。第二篇讲的是MF的数学原理，包括MF模型的目标...
论文研究-基于时序模型和矩阵分解的推荐算法.pdf
07-22
基于该方法，首先利用矩阵分解提取原始时序数据的特征，然后通过时序模型挖掘特征的趋势，最后根据预测的特征得到预测结果并进行推荐。实验结果表明，所提出的算法与已有的推荐算法相比，在均方根误差（root mean ...
论文研究-一种结合主题模型的推荐算法.pdf
07-22
针对传统协同过滤推荐算法存在的冷启动、数据稀疏以及相似度度量的准确性问题，基于LDA主题模型对文本隐式主题挖掘的有效性和KL散度在主题分布相似性度量的准确性，提出了结合LDA主题模型的矩阵分解推荐算法。...
diabetes_train.txt
05-08
糖尿病数据集，主要用于机器学习或者深度学习分类算法，共有9个字段 前8个维变量，最后一个字段为标签，为二分类数据集，当然自己可以转换成ONE-HOT类型
聊聊推荐系统的高阶特征交叉问题
夕小瑶科技说
11-29 1393
文 | 水哥源 | 知乎Saying1. DCN看起来给了我们很好的允诺，但是细细想来是有一些问题的，这里也可以参考大佬的意见2. 高阶FM的核心设计是先element-wise乘，再对e...
elm预测matlab,机器学习——极限学习(ELM)matlab代码分析
weixin_30863465的博客
03-16 1032
Hello，大家好，我是小鹏同学。今天在一个网站(https://www.ntu.edu.sg/home/egbhuang/elm_random_hidden_nodes.html)上下载了基本的ELM的代码和训练集以及测试集，并阅读了一下代码，发现还是比较简单的，只要花点时间认真耐心阅读、在matlab上跑一跑应该都能很容易读懂。好了，长话短说，我直接给出我在代码中加的注释吧，希望对大家理解EL...
推荐系统FM - 超级详细python实战
s189416的博客
05-02 1877
推荐系统FM - 超级详细python实战1.FM模型2.数据集3.FM求解 这里可以查看我之前的写的MF模型作为学习基础，推荐系统MF——SVD与SVD++矩阵分解 1.FM模型 FM模型在原本线性模型的基础上，考虑到特征两两之间的关联，对特征进行组合，数据模型上表达特征xi，xj的组合用xixj表示。现在只考虑两阶多项式模型，也就是特征两两组合的问题。公式如下： 首先实现基本的线性模型公式，用随机生成的一个长度为10353-1(除了需要预测的rating) 的符合正态分布的向量来表示各特征的单独权重，
LR、Poly2、FM、FFM
dili8870的博客
03-27 1191
1. LR LR的linear Margin： 假设特征之间是相互独立的，忽略了feature pair等高阶信息；在LR中，特征组合等高阶信息是通过特征工程在特征侧引入的，那么有哪些模型不需要通过特征工程自动学习高阶信息呢？ 2.Degree-2 Polynomial Margin (Poly2) 在LR基础上，加入任意两个特征之间的关系： 其中，$w_{...
特征交叉类经典推荐模型解析——POLY2、FM、FFM
bbbeoy的专栏
12-10 650
https://blog.csdn.net/qq_39381654/article/details/110396814
Maya模型转流体插件 Poly2Volume
机器猫的CG空间
06-28 8944
话说又是好久没写csdn博客了…… 视频演示地址http://v.youku.com/v_show/id_XNDIxMzI2NjUy.html Maya一直没有模型转流体的工具，一种古老的方法是用模型发射流体，静态时可用，但当模型本身是运动着的时候就无能为力了。而Houdini有个很流弊的OP——isoOffset，可以把模型转成fog甚至是SDF。 Poly2Volume横空出世。
机器学习中的数据清洗与特征处理综述
baidu_18891025的博客
09-12 752
1、采样： 分类问题：选取正例，负例，比例确定。 回归问题：评测样本的大致分布，根据目标制定采样规则；采样的方法包括随机采样，固定比例采样等方法 2、数据清洗 结合业务情况进行数据的过滤 去除crawler抓取，spam，作弊等数据 3、特征分类 根据不同的分类方法，可以将特征分为(1)Low level特征和High level特征。(2)稳定特征与动态特征。(3)二值特征、连续特征、枚举特征。 Low level特征是较低级别的特征，主要是原始特征，不需要或者需要非常少的人工处理和干预，例如文
【推荐系统】POLY2、FM、FFM模型的进化之路
CSDN 精品推荐
11-15 629
文章目录POLY2模型FM模型FFM模型 POLY2模型 逻辑回归模型是CTR预测领域较为广泛使用的模型，原因有模型具备可解释性，良好的数学解释性，可以实现并行化提高效率，但是它有个缺点就是不能够捕捉数据的非线性关系，如果非要这样，一般情况下需要人工进行特征交叉，但是这样的成本较大，而且需要有经验的算法专家才能够交叉出好的特征，所以如果可以使用算法进行交叉，那么整个系统的工作效率将大大提高。 所以，这时产生了POLY2模型进行特征的 “暴力” 组合，它的原理很简单，就是将任意两个特征两两交叉，这将会新产生
介绍一下CF、MF、FM、LR等推荐相关算法模型
最新发布
05-17
推荐系统是一种根据用户历史行为和兴趣来预测用户未来喜好的技术，常用的推荐算法模型包括： 1. CF (Collaborative Filtering) 协同过滤：通过分析用户历史行为和观看记录，找出与当前用户兴趣相似的其他用户或物品，将其推荐给用户。 2. MF (Matrix Factorization) 矩阵分解：将用户和物品构成的评分矩阵分解成两个低维矩阵，再进行矩阵乘法得到用户和物品的潜在特征向量，通过计算相似度来进行推荐。 3. FM (Factorization Machines) 因子分解机：基于特征工程，将用户、物品以及其他相关特征进行交叉，然后通过因子分解机模型来学习特征之间的交叉关系，从而进行推荐。 4. LR (Logistic Regression) 逻辑回归：基于用户历史行为和观看记录，通过逻辑回归模型来预测用户是否对某个物品感兴趣，并将其推荐给用户。 以上是常用的推荐算法模型，每种模型都有其特点和适用场景，需要根据不同的业务需求和数据情况选择合适的模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

司六米希

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值