A Gated Self-attention Memory Network for Answer Selection（EMNLP19）
存在问题：现有方法在前几层将问题候选词对编码为向量化后的序列，由于这些序列的独立导致完全忽略了其他序列的信息。
提出一种基于两种方法的混合的方法，一种memory network 和自注意力结构。即基于memory的门自注意力网络结构来在QA中进行答案提取。
1.提出gated self-attention mechanism，使其不只是适用于单个输入和上下文向量，而是适用于所有序列。因而改变f的输入。首先将输入和上下文向量表示为独立的gate–vote，再将其聚合来计算输入 x i x_i xi的gate g i g_i gi,具体过程如下。
v j = W x j + b ; v c = W c + b ; s i j = x i T v j ; s i c = x i T v c v^j =Wx_j + b;v^c =Wc + b; s^j_i = x^T_iv^j ; s^c_i = x^T_iv^c vj=Wxj+b;vc=Wc+b;sij=xiTvj;sic=xiTvc
α i j = e x p ( s i j ） ∑ k ∈ [ 1.. n ] e x p ( s i k ) + e x p ( s i c ) ; α i c = e x p ( s i c ） ∑ k ∈ [ 1.. n ] e x p ( s i k ) + e x p ( s i c ) \alpha _i^j =\frac{exp(s^j_i ）}{\sum_{k\in {[1..n]}}exp(s^k_i )+exp(s^c_i) }; \alpha _i^c =\frac{exp(s^c_i ）}{\sum_{k\in {[1..n]}}exp(s^k_i )+exp(s^c_i) } αij=∑
最低0.47元/天 解锁文章
9222
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
