FM,FFM,DeepFM

FM(Factorization Machines)因子分解机
主要适用的场景就是高维稀疏特征环境下,在确定输入后,它也近似于支持向量机和多项式回归。
其主要想法是,遍历所有特征,进行特征的组合,如下图,一阶特征是6个,二阶特征就有15个。
在这里插入图片描述
我们用如下的公式进行计算,但考虑到两个问题,一个是如上图所示,类别特征进行one-hot后会变的特征空间变大样本就变得稀疏,其次当特征组合后,新特征的样本量会变的更稀疏的问题。
在这里插入图片描述
利用上式求解,使用梯度下降,由于样本量的稀疏,参数很难收敛。其次,当d=2时,由于引入特征组合也就会增添n(n-1)/2个参数w。
FM通过对w进行分解,一是可以减少模型参数,二是可以挖掘特征组合之间的相关性(个人理解)
在这里插入图片描述
这时参数变成了nk个,
在这里插入图片描述
进一步化简:
在这里插入图片描述
计算复杂度变成了O(n
k)
在这里插入图片描述
FM的优点:

  1. 可以在非常稀疏的数据中进行合理的参数估计
  2. FM模型的时间复杂度是线性的
  3. FM是一个通用模型,它可以用于任何特征为实值的情况

python实现代码:


import numpy as np
np.random.seed(0)
import random


def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))


def sigmoid_prime(z):
    """
    sigmoid函数对z求一阶偏导
    :param z:
    :return:
    """
    return sigmoid(z) * (1 - sigmoid(z))


class QuadraticCost(object):
    @staticmethod
    def fn(a, y):
        """
        平方误差损失函数
        :param a: 预测值
        :param y: 真实值
        :return:
        """
        return 0.5 * np.linalg.norm(a - y) ** 2

    @staticmethod
    def delta(z, a, y):
        """
        损失函数对z求偏导
        :param z: x的线性函数
        :param a:
        :param y:
        :return:
        """
        return (a - y) * sigmoid_prime(z)


class FM(object):
    def __init__(self, train, valid, k, eta, maxecho, r2, cost=QuadraticCost):
        """
        构造函数
        :param 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值