因式分解模型

本文介绍了因式分解模型(FM)的原理,包括Order=2的FM模型的构成、模型复杂度、特性以及 Higher-Order FMs。通过具体例子展示了FM在用户评分预测中的应用,并探讨了FM的训练方法,如SGD、ALS和MCMC。同时,讨论了模型优化目标及防止过拟合的策略。
摘要由CSDN通过智能技术生成

Order=2的FM模型如下(在下面会有Order > 2的模型):


其中包括两部分:

第一部分:与输入向量成线性关系。

第二部分:因子的两两乘积之和(eg:x1x2w12 + x1x3w13 + x2x3w23),这里wij并不是单个的数字,而是由两个向量(vi,vj)卷积得到,这样能描述更复杂的模型。

其中:

1、p:输入向量大小。

2、x:输入向量。

3、y:输入向量对应的结果。

4、w:因子。

5、v:用来描述两两之间因子的向量,维度为k。

模型中参数的数目为:1 + p + k * p。将模型变换形式得到:


那么这个模型的复杂度为O(k Nz(x)),其中Nz(x)表示x中非零的个数。下面来看FM模型的一些特性:

1、Multilinearity

模型可以拆分成两个与模型参数无关的函数:g + h,如下:

其中:

函数g就不用表示了,在用的时候写作:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值