FM算法模型

最新推荐文章于 2024-07-12 17:35:14 发布
最新推荐文章于 2024-07-12 17:35:14 发布
阅读量616 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 神经网络 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47407437/article/details/108005619
版权

FM算法模型

一、FM意义

传统的LR模型，各个特征之间是相互独立的，为了获得特征之间的交互关系，需要花费大量的时间去进行人工特征构造（交叉特征）。同时，面对特征高度稀疏的应用领域（推荐系统），相当多的参数难以得到有效的学习。于是FM算法应运而生。
FM获得二阶交叉特征，同时能解决特征高度稀疏导致参数不能得到有效学习的问题。

二、FM理论模型

在这里插入图片描述
从上图看，时间复杂度是O(kn^2)，但是可以通过简单的换算使时间复杂度变换为O(kn)，变换过程如下图：
在这里插入图片描述

三、参数优化

参数优化过程采用随机梯度下降法，SGD：
在这里插入图片描述

Yumicccccc
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FM模型的总结
qq_19660851的博客
08-16 922
FM原理及总结
fm算法详解_推荐算法之FM（因子分解机）模型，召回与排序的利器
weixin_39638014的博客
02-01 783
在这篇文章我们将介绍因式分解机模型(FM)，为行文方便后文均以FM表示。FM模型结合了支持向量机与因子分解模型的优点，并且能够用了回归、二分类以及排序任务，速度快，是推荐算法中召回与排序的利器。FM算法和前面我们介绍的LFM模型模型都是基于矩阵分解的推荐算法，但在大型稀疏性数据中FM模型效果也不错。本文首先将阐述FM模型原理，然后针对MovieLens数据集将FM算法用于推荐系统中的ranking...
FM 模型
HammerTien的博客
08-06 1497
FM 模型 在点击率预估任务中，原始数据集 大概是这种情况 点击 性别 地区 频道 1 男 天津 相声 0 女 甘肃 体育 1 女 云南 电视剧 将字符串输入到模型中肯定是不现实的，因此对类别型属性做 one-hot 处理 点击 性别=男 性别=女 地区=天津 地区=甘肃 地区=云南 频道=相声 频道=体育 频道=电视剧 1 1 0 1 0 0 1 0 ...
FM模型（Factorization Machine，因子分解机）解析及举例
最新发布
weixin_41570231的博客
07-12 1191
FM模型通过分解特征矩阵捕捉特征间的二阶交互，适用于推荐系统、分类和回归任务，能有效处理高维稀疏数据。
FM算法原理
liuhe2296044的博客
08-05 358
FM模型是怎么工作的？ 例如我们有两个字段：颜色(红、黑、白)和品类（化妆品、手机）。我们需要使用FM预测对下面两个商品的点击率 item1：红色的化妆品 item2：黑色的手机 FM训练后得到参数： 权重：红色0.11 黑色:0.26 白色:0.16 化妆品:0.24 手机:0.31 维度为2的向量：颜色：红色[0.426,0.376]、黑色[0.636,0.739]、白色[0.832,0.584]。 品类：化妆品[0.723,0,372]、手机[0.903,0.133] ......
推荐系统 - FM模型原理和实践
RecDay2018's Blog
04-05 1865
一. FM概述 FM（Factorization Machines，因子分解机），简称FM模型，由Steffen Rendle于2010年在ICDM上提出。FM模型是一种通用的预测方法，主要有以下的特点和优势，基于此在推荐系统和计算广告领域[如: CTR预估(click-through rate)]具备良好的表现。 特征组合：除了单特征外，特征组合对于推荐排序是非常非常重要，的往往要对特...
FM模型
icodeblocks的专栏
11-19 363
  FM（Factorization Machines，因子分解机）,它是一种通用的预测方法，在即使数据非常稀疏的情况下，依然能估计出可靠的参数进行预测。与传统的简单线性模型不同的是，因子分解机考虑了特征间的交叉，对所有嵌套变量交互进行建模（类似于SVM中的核函数），因此在推荐系统和计算广告领域关注的点击率CTR（click-through rate）和转化率CVR（conversion rate）两项指标上有着良好的表现。此外，FM的模型还具有可以用线性时间来计算，以及能够与许多先进的协同过滤方法（如Bi
FM模型小结
lyx_yuxiong的博客
07-27 4888
FM是一个不得不提的算法，将部分笔记内容整理到博客，内容文字不甚成系统，只作为记录点拨之用。 从特征组合说起： 对逻辑回归最朴素的特征组合就是二阶笛卡尔积，但其中也有问题所在： 两两组合导致维度灾难 组合后特征并不见得都有效，通常大量无效特征 组合后特征样本非常稀疏，如果样本中不存在对应组合，则无法学习参数，该组合无意义 Y = ω0 + Σωixi + ΣΣωijxixj 如公式，若...
fm算法详解_FM算法(一)：算法理论
weixin_30556403的博客
02-01 5290
主要内容：动机FM算法模型FM算法VS 其他算法一、动机在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征直接的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习；现在也有很多分解模型Factorization model如矩阵分解MF、SVD++等，这些模型可以学习到特征之间的交互隐藏关系，但基...
FM.zip_FM算法_分解机模型
09-21
### 一、FM算法的核心概念 1. **线性部分**：FM模型的线性部分类似于传统的线性回归模型，通过特征的权重向量与输入特征向量的点积来计算预测值。假设我们有n个特征，对于样本x，其线性部分表示为： \[ \sum_{i=1}...
Python实现FM算法解析
09-19
### Python 实现 FM 算法解析 #### 1. 什么是FM？ FM，即**因子分解机**（Factorization Machine），是一种通用的预测模型，主要用于处理特征间复杂的交互关系和高维稀疏数据的问题。它能有效地捕捉到特征间的交互...
deepFM_推荐系统算法FM_deepfm_
09-30
FM算法是由Steinwart等人在2010年提出的，它在传统线性模型的基础上，引入了二阶交互项，能够捕获特征之间的隐含关系。FM模型的核心在于其因子分解方式，通过将每个特征映射到低维空间，计算特征之间的二阶交互作用...
【推荐算法】FM模型：Factorization Machines
长相忆兮长相忆的专栏
05-17 4947
FM算法是一种基于矩阵分解的机器学习算法，是为了解决大规模稀疏数据中的特征组合问题。 在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征之间的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习；现在也有很多分解模型Factorization Model如矩阵分解MF、SVD++等，这些模型可以学习到特征之间的交互隐藏关系，但基本上每个模型都只适用于特定的输入和场景。 为此，FM出现了。
【机器学习技术系列】FM系列算法详解(FM、FFM、DeepFM)
小田的专栏
04-23 2864
可解释性强。形式简单，训练速度快。表达能力有限只在处理二分类问题上优势明显。
FM算法
糖葫芦君的博客
12-12 1158
FM算法存在的问题基于的思想具体方法时间复杂度优点参考资料 存在的问题 稀疏数据下的特征组合问题 类别特征经过one-hot编码转换后会导致样本特征的稀疏性,并且会得到千万级别甚至上亿级别的特征空间，导致特征空间爆炸 多项式模型： 可以看出，组合的特征的参数一共有 n(n−1)2\frac{n(n-1)}{2}2n(n−1)​个，并且它们都是相互独立的，而且在数据稀疏普遍存在的实际应用场景中...
FM基础
竹生的专栏
08-29 634
FM的特点： 针对稀疏数据也能有效估计； FM复杂度是线性的，计算快； 对数据数据没有严格的要求，任意的实数向量都可以。 FM详细介绍 FM，作为线性回归的拓展，能够挖掘特征与特征之间的联系。 大家都知道，线性回归的方程为 y=w0+∑i=1nwixiy=w_0+\sum_{i=1}^{n}w_ix_iy=w0​+i=1∑n​wi​xi​ 其中：n是特征维度，w是特征的权重。 度为2的FM的方程为： y=w0+∑i=1nwixi+∑i=1n∑j=i+1n⟨vi,vj⟩xixjy=w_0+\sum_{i=
FM系列算法解读（FM+FFM+DeepFM）
热门推荐
数据喵的博客
08-03 7万+
https://blog.csdn.net/jiangjiang_jian/article/details/80631180
[深度学习] FM & FFM 算法基本原理
摩登都市天空---专栏
06-23 1636
在推荐系统和计算广告业务中，点击率CTR（click-through rate）和转化率CVR（conversion rate）是衡量流量转化的两个关键指标。准确的估计CTR、CVR对于提高流量的价值，增加广告及电商收入有重要的指导作用。 无论使用什么类型的模型，点击率这个命题可以被归纳到二元分类的问题，我们通过单个个体的特征，计算出对于某个内容，是否点击了，点击了就是1，没点击就是0。对于任何二元分类的问题，最后我们都可以归结到逻辑回归上面。 早期的人工特征工程 + LR(Logisti...
算法分析之时间复杂度与空间复杂度
FMJAce的博客
07-26 416
1， 什么是数据结构？          看到有的答案是这样写的：数据结构就是计算机存储，组织数据的方式。       2，什么是算法？          算法就是用系统方法解决问题的策略机制。而时间复杂度与空间复杂度就是衡量一个算法优劣的标准        3，什么是时间复杂度？          当一个算法在系统中运行时，它被执行了n次，此时这个算法的规模为n，执行完这个算法所用的时
pytorch 实现FM算法
05-16
FM（因子分解机）是一种经典的推荐算法，它可以用于处理稀疏数据并且具有较好的预测性能。下面是使用PyTorch实现FM算法的基本步骤： 1. 导入需要的库： ```python import torch import torch.nn as nn import torch.optim as optim ``` 2. 定义FM模型 ```python class FM(nn.Module): def __init__(self, input_dim, k): super(FM, self).__init__() self.k = k self.linear = nn.Linear(input_dim, 1) self.v = nn.Parameter(torch.randn(input_dim, k)) def forward(self, x): linear_part = self.linear(x) inter_part1 = torch.matmul(x, self.v) inter_part2 = torch.matmul(torch.pow(x, 2), torch.pow(self.v, 2)) inter_part = 0.5 * torch.sum(torch.sub(inter_part1, inter_part2), 1, keepdim=True) output = linear_part + inter_part return output ``` 3. 定义训练函数 ```python def train(model, dataloader, optimizer, criterion): model.train() train_loss = 0 for batch_idx, (data, target) in enumerate(dataloader): optimizer.zero_grad() output = model(data) loss = criterion(output, target) train_loss += loss.item() loss.backward() optimizer.step() return train_loss / len(dataloader.dataset) ``` 4. 定义测试函数 ```python def test(model, dataloader, criterion): model.eval() test_loss = 0 with torch.no_grad(): for data, target in dataloader: output = model(data) test_loss += criterion(output, target).item() return test_loss / len(dataloader.dataset) ``` 5. 加载数据集和设置超参数 ```python from torch.utils.data import DataLoader, Dataset class CustomDataset(Dataset): def __init__(self, x, y): self.x = x self.y = y def __getitem__(self, index): return self.x[index], self.y[index] def __len__(self): return len(self.x) X_train, y_train = ... X_test, y_test = ... train_dataset = CustomDataset(X_train, y_train) test_dataset = CustomDataset(X_test, y_test) batch_size = 64 train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_dataloader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False) input_dim = X_train.shape[1] k = 10 lr = 0.01 num_epochs = 50 ``` 6. 训练模型 ```python model = FM(input_dim, k) optimizer = optim.SGD(model.parameters(), lr=lr) criterion = nn.MSELoss() for epoch in range(num_epochs): train_loss = train(model, train_dataloader, optimizer, criterion) test_loss = test(model, test_dataloader, criterion) print(f'Epoch {epoch+1}, Train Loss: {train_loss:.4f}, Test Loss: {test_loss:.4f}') ``` 这样就可以使用PyTorch实现FM算法了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值