FM的DNN实现——隐向量可以认为就是embedding学习的权重

最新推荐文章于 2024-07-01 23:10:34 发布

程序大猩猩

最新推荐文章于 2024-07-01 23:10:34 发布

阅读量4.5k

点赞数

分类专栏：个人思考文章标签： tensorflow 深度学习

本文链接：https://blog.csdn.net/weixin_43864473/article/details/103811300

版权

本文介绍了如何从深度学习的角度理解FM模型，特别是隐向量实际上等同于embedding学习的权重。通过DeepFM论文中的解释，详细解析了FM层的计算方法，将高维稀疏输入向量转化为低维密集嵌入向量的过程，并提供了基于公式实现的代码思路。

摘要由CSDN通过智能技术生成

之前一直在思考怎么实现FM，后来在看DeepFM的时候，被一句话点醒，如下。
DeepFM论文中有这么一句话：

the latent feature vectors (V ) in FM now server as network weights which
are learned and used to compress the input field vectors to the
embedding vectors.

就是说，FM层的隐向量现在其实就是将高维稀疏输入向量x(one-hot编码)转换为低维密集的嵌入向量的embedding矩阵。
在这里插入图片描述
下面这个是FM论文中的给出的计算方法，代码也是根据这个公式实现的。

首先input的形状是(batch_size, max_len, embedding_size)
第 $i$ 行就代表 $v_ix_i$ ( $x_i$ 就是你输入的one-hot，第 $i$ 个维度上是1，其余是0， $v_i$