TFNet: Multi-Semantic Feature Interaction for CTR Prediction 论文简读

TFNet: Multi-Semantic Feature Interaction for CTR Prediction 论文简读

TFNet

文章信息

• 文章标题: TFNet: Multi-Semantic Feature Interaction for CTR Prediction
• 发表时间: Tencent, SIGIR 2020

广而告之

可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号；另外可以看看知乎专栏 PoorMemory-机器学习, 以后文章也会发在知乎专栏中；

主要内容

本文介绍了 Tensor-based Feature interaction Network (TFNet) 模型, 它引入了一个 operating tensor, 由 multi-slice matrices 组成, 可以实现在多种语义层面的特征交叉. 网络结构图如下:

其中 tensor-based feature interaction layer 的实现如下:

假设每个 field 对应的 embedding ${\mathbf{v}}_i\in {\mathbb{R}}^d$, 引入 ${\mathbf{T}}_1\in {\mathbb{R}}^{d\times m\times d}$ 这个 3 阶的 operating tensor, 其由 $m$ 个大小为 ${\mathrm{T}}_1^{[i]}\in {\mathbb{R}}^{d\times d}$ 的 slice 组成, 它对要交叉的 feature pair $({\mathbf{v}}_i,{\mathbf{v}}_j)$ 进行操作, 得到在某个语义空间下的表示. 由于 ${\mathrm{T}}_1$ 包含 $m$ 个 slice matrix, 因此可以得到一个 feature pair 在 $m$ 个语义空间下的表示:

$${\mathbf{s}}_{ij}={\mathbf{v}}_i^T{\mathbf{T}}_1{\mathbf{v}}_j$$

其中 ${\mathbf{s}}_{ij}\in {\mathbb{R}}^m$. 最后将所有交叉特征的结果 concatenation 起来, 可以得到 $\mathbf{S}\in {\mathbb{R}}^{q\times m}$, 其中 $q=n\ast (n-1)/2$.

注: feature pair $({\mathbf{v}}_i,{\mathbf{v}}_j)$ 在某一个语义空间中的表示为一个 scalar, 即 ${\mathbf{v}}_i^T{\mathbf{T}}_1^{[i]}{\mathbf{v}}_j$ 的结果为 scalar, 假设

$$\begin{gathered} {\mathbf{v}}_i=[u_1,u_2{]}^T \\ {\mathbf{v}}_j=[v_1,v_2{]}^T \\ {\mathbf{T}}_1^{[i]}=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right] \end{gathered}$$

则 ${\mathbf{v}}_i^T{\mathbf{T}}_1^{[i]}{\mathbf{v}}_j$ 的结果为:

$$[u_1,u_2]\cdot \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\cdot \left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]=a{u}_1{v}_1+c{u}_2{v}_1+b{u}_2{v}_1+d{u}_2{v}_2$$

这个运算实际上可以转换为, 先做 ${\mathbf{v}}_i{\mathbf{v}}_j^T$ 生成大小为 $d\times d$ 的矩阵后, 再和 ${\mathbf{T}}_1^{[i]}$ 做哈达玛积, 最后对矩阵中的所有值求和:

$$\begin{array}{rl}& \text{sum}\left(\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right]\cdot [v_1,v_2]\odot \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\right)\\ =& \text{sum}\left(\left[\begin{array}{cc}{u}_1{v}_1& u_1{v}_2\\ u_2{v}_1& u_2{v}_2\end{array}\right]\odot \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\right)\\ =& a{u}_1{v}_1+c{u}_2{v}_1+b{u}_2{v}_1+d{u}_2{v}_2\end{array}$$

另外, 不同语义空间应该有不同的权重, 所以作者又介绍了 Adaptive Gate 来学习 ${\mathbf{T}}_1$, 方法如下:

不做详细介绍了, 时间宝贵~ 其中:

$${\mathbf{g}}_a=\mathrm{softmax}\left({\mathbf{v}}_i^T{\mathbf{T}}_3{\mathbf{v}}_j\right)$$

最后再回到第一张图 (网络结构图), 其中 $\mathbf{S}\in {\mathbb{R}}^{q\times m}$, 其中 $q$ 为交叉特征的个数, $\mathbf{S}$ 保存了这些交叉特征在 $m$ 个语义空间中的表达, 之后 ${\mathbf{g}}_c\in {\mathbb{R}}^q$ 在论文中被称为 Control Gate, 用于选择重要的交叉特征, 因此得到 ${\mathbf{s}}_h={\mathbf{S}}^T{\mathbf{g}}_c\in {\mathbb{R}}^m$

另外本文可以结合 FiBiNet 中用到的 Bilinear Interaction Layer 一起看看, 相互对比下. (详见: FiBiNet 网络介绍与源码浅析)

结论

论文简读写的字还是得尽量少些~ 🤣