发表与:CCFB会 2023年
略读
模型框架图
总体思想分为两部分:
- 2跳图结构
-
- 一个利用k近邻构建语义特征的 N s e N_{se} Nse
-
特征提取
-
二跳图结构
- 即二跳邻居
-
KNN图结构 N s e N_{se} Nse:
- N s e ( v ) = t o p - r a n k ( u ∈ V , u ≠ v ) ( { c o s ( x v , x u ) } , k s e ) , \mathcal{N}_{se}(v)=top\text{-}rank_{(u\in\mathcal{V},u\neq v)}(\{cos(x_v,x_u)\}, k_{se}), Nse(v)=top-rank(u∈V,u=v)({cos(xv,xu)},kse),
-
KNN图结构结合结构信息:
- N s t ( v ) = t o p - r a n k ( u ∈ V , u ≠ v ) ( { c o s ( s v , s u ) } , k s t ) , \mathcal{N}_{st}(v)=top\text{-}rank_{(u\in\mathcal{V},u\neq v)}(\{cos(s_v,s_u)\}, k_{st}), Nst(v)=top-rank(u∈V,u=v)({cos(sv,su)},kst),
- s v ∈ R t s_v\in\mathbb{R}^t sv∈Rt经验的来说,我们通过原始邻接矩阵去获得 N s t N_{st} Nst
-
特征融合
- x v p = σ ( ∑ u ∈ N ~ p ( v ) α v u p ⋅ x u W ) x_v^p=\sigma(\sum_{u\in\tilde{\mathcal{N}}_p(v)}\alpha_{vu}^p\cdot x_u\text{W}) xvp=σ(u∈N~p(v)∑αvup⋅xuW)
- (W相当于一个线性变换)
- α v u p = s o f t m a x u ∈ N ~ p ( v ) ( l e a k y R e l u ( a T [ x v W ∣ ∣ x u W ] ) ) \alpha_{vu}^p=softmax_{u\in\tilde{\mathcal{N}}_p(v)}\left(leakyRelu\left(a^T\left[x_v\text{W}||x_u\text{W}\right]\right)\right) αvup=softmaxu∈N~p(v)(leakyRelu(aT[xvW∣∣xuW]))
- 这相当于一个共享的注意力机制
-
利用softmax融合特征
- w ^ p = s o f t m a x ( w p ) = e x p ( w p ) ∑ n e x p ( w p ) , \hat{w}_p=softmax(w_p)=\frac{exp(w_p)}{\sum_nexp(w_p)}, w^p=softmax(wp)=∑nexp(wp)exp(wp),
- X f i n a l = ∑ p ∈ { 1 , 2 , s e , s t } w ^ p ⋅ X p \mathrm{X}^{final}=\sum_{p\in\{1,2,se,st\}}\hat{w}_p\cdot\mathrm{X}^p Xfinal=p∈{1,2,se,st}∑w^p⋅Xp
- 剩下的即分类函数:
- y ~ v = s o f t m a x ( σ ( X v f i n a l W c ) ) , v ∈ V \tilde{y}_v=softmax(\sigma(\mathbf{X}_v^{final}\mathbf{W}_c)), v\in\mathcal{V} y~v=softmax(σ(XvfinalWc)),v∈V
- L c l s = − ∑ v ∈ Γ ν y v T l o g y ~ v L_{cls}=-\sum_{v\in\Gamma\nu}y_v^Tlog\tilde{y}_v Lcls=−v∈Γν∑yvTlogy~v
扫一扫
778
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
