Reasoning with Sarcasm by Reading In-between

Reasoning with Sarcasm by Reading In-between

click here：文章下载

方法综述：

本文提出了新的模型SIARN(Singal-dimensional Intra-Attention Recurrent Networks)和MIARN(Multi-dimensional Intra-Attention Recurrent Networks)。

先给出一个定义，关系得分$s_{i,j}$表示单词$w_i$、$w_j$间的信息关联程度。二者的区别仅在于，SIARN中只考虑单词对间的一种内在关系，$s_{i,j}$是个标量；而MIARN考虑单词对间的多种(k种)内在关系，$s_{i,j}$是个k维向量，再将其融合为一个标量。

模型中包含三个子模型：Singal/Multi-dimensional Intra-Attention、LSTM、Prediction Layer：
Singal/Multi-dimensional Intra-Attention：通过单词对间的信息，得到句子的Intra-Attentive Representation
LSTM：通过句子的序列信息，得到句子的Compositional Representation
Prediction Layer： 融合两种信息表示，进行二分类预测

各模型算法：

Singal/Multi-dimensional Intra-Attention

Sigal-dimensional：

$s_{i,j}=W_a([w_i;w_j])+b_a⟹s_{i,j}\in R$ 标量

$W_a\in R^{2n\times 1},b_a\in R;$

Multi-dimensional：

s i , j ^ = W q ( [ w i ; w j ] ) + b q    ⟹    s i , j ^ ∈ R k \hat{s_{i,j}}=W_q([w_i;w_j])+b_q \implies \hat{s_{i,j}} \in R^k si,j​^​=W