推荐系统FM模型要点总结

一、概述

在这里插入图片描述
这里为什么要强调正定矩阵W呢,可以参见笔者文章二次型和矩阵正定的意义

二、计算
  • 复杂度简化
    • 计算简化的原理其实很简单,就是一个方阵减去对角线的一半,不赘述。
      在这里插入图片描述
    • 参数求导
      在这里插入图片描述
      针对 θ = v i , f \theta=v_{i,f} θ=vi,f 的情况,首先要明确 v i , f v_{i,f} vi,f n ∗ k n*k nk 个, n n n 为特征域数,也就是 f i e l d _ s i z e field\_size field_size k k k 为每个特征 f i e l d field field 对应的 e m b e d d i n g embedding embedding 维度(什么?初学小白embedding还不懂?可以参见笔者文章词向量与Embedding究竟是怎么回事?),那么对公式
      在这里插入图片描述
      而言,对 v i , f v_{i,f} vi,f 求导时候 i , f i,f i,f 就已经是固定量了,重点关注 v v v i i i f f f 交给 ∑ f = 1 k , ∑ i = 1 n \sum_{f=1}^k,\sum_{i=1}^n f=1k,i=1n 遍历即可。
Ref:

  [1].论文地址
  [2].FM 论文笔记
  [3].词向量与Embedding究竟是怎么回事?
  [4].二次型和矩阵正定的意义

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是 DeepFM 模型的 TensorFlow 2.0 实现代码: ```python import tensorflow as tf from tensorflow.keras.layers import Input, Dense, Dropout, Concatenate from tensorflow.keras.regularizers import l2 from tensorflow.keras.models import Model from tensorflow.keras.optimizers import Adam class DeepFM: def __init__(self, feature_dim, embedding_dim=8, hidden_units=(32, 32), dropout_rate=0.5, l2_reg=0.01, learning_rate=0.001): self.feature_dim = feature_dim self.embedding_dim = embedding_dim self.hidden_units = hidden_units self.dropout_rate = dropout_rate self.l2_reg = l2_reg self.learning_rate = learning_rate def build(self): input_layer = Input((self.feature_dim,)) embedding_layer = tf.keras.layers.Embedding(self.feature_dim, self.embedding_dim)(input_layer) embedding_layer = tf.keras.layers.Flatten()(embedding_layer) linear_layer = tf.keras.layers.Dense(units=1, activation=None)(input_layer) fm_layer = tf.keras.layers.GlobalAveragePooling1D()(embedding_layer) deep_layer = tf.keras.layers.Dense(units=self.hidden_units[0], activation='relu')(embedding_layer) deep_layer = tf.keras.layers.Dropout(self.dropout_rate)(deep_layer) for units in self.hidden_units[1:]: deep_layer = tf.keras.layers.Dense(units=units, activation='relu')(deep_layer) deep_layer = tf.keras.layers.Dropout(self.dropout_rate)(deep_layer) deep_fm_layer = Concatenate()([fm_layer, deep_layer]) output_layer = tf.keras.layers.Dense(units=1, activation='sigmoid', kernel_regularizer=l2(self.l2_reg))(deep_fm_layer) model = Model(inputs=input_layer, outputs=output_layer) optimizer = Adam(lr=self.learning_rate) model.compile(optimizer=optimizer, loss='binary_crossentropy', metrics=['accuracy']) return model ``` 其中,`feature_dim` 表示特征的维度,`embedding_dim` 表示嵌入层的维度,`hidden_units` 表示深度部分的神经元数量,`dropout_rate` 表示 dropout 比例,`l2_reg` 表示 L2 正则项系数,`learning_rate` 表示学习率。在 `build()` 方法里,我们首先定义了输入层和嵌入层,然后分别计算了线性部分、FM 部分和深度部分的结果,最后将 FM 和深度部分的结果拼接起来,并通过一个全连接层输出最终结果。这里使用了 Adam 优化器和二分类交叉熵损失函数,并编译了模型

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值