FIVES论文小结

《FIVES：Feature Interaction Via Edge Search for Large-Scale Tabular Data》论文小结

原论文链接：https://arxiv.org/abs/2007.14573
这篇文章利用图神经网络来构建了一个特征捆绑的模型结构。主要创新点在于解决了进行特征捆绑时会产生的搜索空间爆炸的问题，提出了一个令人信服的特征搜索路径。

搜索策略

将原始特征与特征之间的关系用图来表示，每一个节点node代表一个特征feature，每一条边代表边相邻的两条边有特征捆绑的行为。

$m$个原始特征之间所有可能的交互数量是$O(2^m)$，因此对所有的可能进行搜索并评估非常困难；因此在本文中提出了一个有效的搜索策略：$k$阶特征从原始特征和生成的$k-1$阶特征的交互中产生

这个搜索策略有一个可靠的前提：在不提供可靠信息的特征之间的交互中生成信息特征是不可能的。

而原始特征raw features（即0阶特征）在处理过后可以认为是不含冗余信息的，从归纳假设的角度来看，如果$k-1$阶特征不包含冗余信息，那么根据$k-1$阶特征和$0$阶特征之间的特征交互，就会存在有信息的特征。

本文的核心公式如下：
$$n_i^{(k)}=p_i^{(k)}\odot n_i^{(k-1)}$$
w h e r e p i ( k ) = M E A N j ∣ A i , j ( k ) = 1 { W j n j ( 0 ) } where \qquad p^{(k)}_i = MEAN_{j|A_{i,j}^{(k)} = 1}\{W_j n_j^{(0)}\} wherepi(k)​=MEANj∣Ai,j(k)​=1​{Wj​nj(0)​}

这里的$MEAN$是聚合器，$\odot$是元素级乘法，$W_j$是node $n_j$的转换矩阵，$n_i^{(0)}$是输入到GNN的初始输入，并且是node $n_i$的feature embeddings

假设第$k$层$n^{(k)}=[n_1^{(k)},...,n_m^{(k)}]$，那么第$k+1$层的节点为：
n i ( k + 1 ) = M E A N j ∣ A i , j ( 1 ) = 1 { W j n j ( 0 ) } ⊙ n i ( k ) n^{(k+1)}_i = MEAN_{j|A_{i,j}^{(1)}=1}\{W_jn_j^{(0)}\}\odot n_i^{(k)} ni(k+1)​=MEANj∣Ai,j(1)​=1​{Wj​nj(0)​}⊙ni(k)​
= M E A N ( c 1 , . . . , c k ) ∣ A i , c j ( j ) = 1 , j = 1 , . . . , k { f c 1 ⊗ ⋅ ⋅ ⋅ ⊗ f c k ⊗ f i } = MEAN_{(c_1, ..., c_k)|A_{i, c_j}^{(j)}=1,j=1,...,k}\{f_{c_1} \otimes ···\otimes f_{c_k} \otimes f_i\} =MEAN(c1​,...,ck​)∣Ai,cj​(j)​=1,j=1,...,k​{fc1​​⊗⋅⋅⋅⊗fck​​⊗fi​}

这里面哪一个特征会参与组合，就取决于对应的邻接向量A是否为1

上图是论文中提供的一个示例图

模型训练

设置一个最高的迭代次数$K$，当跌倒$K$次后，就将得到的所有特征向量放到一个线性输出层
$${\hat{y}}^{(k)}=\sigma (W^{(k)}[n_1^{(k)}:\cdot \cdot \cdot :n_m^{(k)}]+b^{(k)})$$
根据上式就可以得到输出值，其中$\sigma$是sigmoid函数；

$\mathbf{\Theta }=(W_F,W^{(k)},b^{(k)},W_j|0\le k\le K,1\le j\le m)$

下面是根据交叉熵损失函数构建的损失函数
$$\begin{array}{rl}\mathcal{L}(\mathcal{D}\mid \mathrm{A},\mathbf{\Theta })& =-\frac{1}{|\mathcal{D}|}\sum _{\left(x_i,y_i\right)\in \mathcal{D}}\frac{1}{K}\sum _{k=0}^{K-1}\mathrm{CE}\left(y_i,{\hat{y}}_i^{(k)}\right),\\ \mathrm{CE}\left(y_i,{\hat{y}}_i^{(k)}\right)& =y_i\log \left({\hat{y}}_i^{(k)}\right)+\left(1-y_i\right)\log \left(1-{\hat{y}}_i^{(k)}\right),\end{array}$$
上式中$\mathcal{D}$是考虑的数据集，$y_i$是真实标签值，${\hat{y}}^{(k)}$是预测值

本文的二级优化问题为：
$$\begin{array}{ll}& {\min }_{\mathrm{A}}\mathcal{L}\left({\mathcal{D}}_{\text{val }}\mid \mathrm{A},\Theta (\mathrm{A})\right)\\ \text{ s.t. }& \Theta (\mathrm{A})=\underset{\Theta }{\mathrm{argmin}}\mathcal{L}\left({\mathcal{D}}_{\text{train }}\mid \mathrm{A},\Theta \right),\end{array}$$
下面是邻接矩阵的更新方式，$A^{(k)}$的优化是依赖于$A^{(k-1)}$的优化的
KaTeX parse error: Expected 'EOF', got '&' at position 2: &̲ \mathbf{A}^{(k…
具体来说，可以将$A$视为由$H\in [0,1{]}^{K\times m\times m}$进行伯努利随机变量参数化形成的。在前向传播阶段，根据$A^{(k)}$ ~ $Pr(\cdot |H^{(k)})$来采样，在反向传播阶段，通过STE（straight-through estimation）来更新$H$

下面是优化后的矩阵A的更新公式：
$$\begin{array}{rl}& {\mathbf{A}}^{(k)}\triangleq {\left({\mathbf{D}}^{(k-1)}\right)}^{-1}\phi \left({\mathbf{A}}^{(k-1)}\right)\sigma \left({\mathbf{H}}^{(k)}\right)\\ & {\mathbf{A}}^{(0)}\triangleq \mathbf{I}\text{ and }{\mathbf{H}}^{(0)}\triangleq \mathbf{I}.\end{array}$$
上面的函数中，$\phi (\cdot )$是一个可调阈值的二值函数，矩阵$D$是正则化矩阵$A$的度函数

因为$A$要经过二值函数，而优化后的$A$的值可能在borderline附近（0.5附近），使用这样的值来进行特征交互时，二进制决策和学习到的A的差距是不可忽视的。因此使用下式来重新调节$A$的值
$$A_{i,j}^{(k)}\leftarrow \sigma (\frac{log[A_{i,j}^{(k)}/(1-A_{i,j}^{(k)})]}{\tau })$$
$\tau$分布在1和一个很小的正数之间，这会使得$A_{i,j}^{(k)}$趋近于0或1