【GCN-CTR】剪枝特征：Detecting Beneficial Feature Interactions for Recommender Systems (AAAI‘21)

chad_lee

已于 2022-03-12 10:52:10 修改

阅读量940

点赞数

分类专栏：推荐系统论文解读图神经网络文章标签：剪枝机器学习算法

于 2022-02-23 16:26:20 首次发布

本文链接：https://blog.csdn.net/yanguang1470/article/details/123093194

版权

该论文提出了一种名为L0-SIGN的方法，旨在识别并剪枝推荐系统中的有益特征交互。通过将特征交互视为图上的链接预测任务，L0-SIGN结合了L0正则化和统计交互图神经网络，有效地减少了无用特征组合，提高了模型效率和准确率。文章讨论了二阶特征组合，并指出其在实际应用中的优势和局限性。

摘要由CSDN通过智能技术生成

Detecting Beneficial Feature Interactions for Recommender Systems (AAAI’21)

这篇的motivation和method都更自然一些，就是有的地方写的不太清楚。

Motivation

DeepFM等一系列模型注重于挖掘高阶特征，但是这些模型只管挖不管筛。对于一个样本有 $J$ 个特征，二阶组合特征就有 $J (J - 1) / 2$ 个，大量的特征组合自然也有大量无用特征，会降低模型质量和速度，所以怎么合理对特征组合进行剪枝，是本文所研究的问题。这篇文章只考虑二阶特征组合。

同样地，这篇文章以特征作为节点建立Graph，把识别重要特征交互任务看作图上的 Link Prediction 任务，然后把 CTR 任务看作图分类任务。

所以从大的角度上看，这篇可以看作在Fi-GNN的基础上剪枝邻接矩阵。

Method： $L_0$ -SIGN

每个节点有两套embedding $v_{i}^{e}$ 和 ${u}_{i}$ ，分别用于L0模块和SIGN模块。SIGN模块的作用类似于DCN、DeepFM中的特征交互模块，L0模块的作用则是为SIGN模块剪枝。

$L_0$ Edge Prediction Model

最简单的Edge Prediction方案就是MF，这里用一个MLP的模型 $f_{e p}$ 来识别节点 $i$ 和节点 $ j$ 之间是否存在边：
$f_{e p}\left(v_{i}^{e}, v_{j}^{e}\right) = W_{2}^{e} \operatorname{Re} L U\left(W_{1}^{e}\left(v_{i}^{e} \odot v_{j}^{e}\right)+b_{1}^{e}\right)+b_{2}^{e}: \mathbb{R}^{2 \times b} \rightarrow \mathbb{Z}_{2}$

最低0.47元/天解锁文章

chad_lee

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【GCN-CTR】剪枝特征：Detecting Beneficial Feature Interactions for Recommender Systems (AAAI‘21)

Detecting Beneficial Feature Interactions for Recommender Systems (AAAI’21)这篇的motivation和method都更自然一些，就是有的地方写的不太清楚。MotivationDeepFM等一系列模型注重于挖掘高阶特征，但是这些模型只管挖不管筛。对于一个样本有 JJJ 个特征，二阶组合特征就有 J(J−1)/2J(J-1)/2J(J−1)/2 个，大量的特征组合自然也有大量无用特征，会降低模型质量和速度，所以怎么合理对特征组合进
复制链接

扫一扫