Python实战——ESIM 模型搭建（keras版）

ESIM 原理笔记见： 论文笔记&翻译——Enhanced LSTM for Natural Language Inference(ESIM)

ESIM主要分为三部分：input encoding，local inference modeling 和 inference composition。如上图所示，ESIM 是左边一部分, 如下图所示

三部分简要代码如下：

1. input encoding

1.1 原理

$${\bar{a}}_i=BiLSTM(a,i),\forall i\in [1,2,...,l_a]$$

$${\bar{b}}_j=BiLSTM(b,j),\forall j\in [1,2,...,l_b]$$

1.2 实现

i1 = Input(shape=(SentenceLen,), dtype='float32')
i2 = Input(shape=(SentenceLen,), dtype='float32')

x1 = Embedding([CONFIG])(i1)
x2 = Embedding([CONFIG])(i2)

x1 = Bidirectional(LSTM(300, return_sequences=True))(x1)
x2 = Bidirectional(LSTM(300, return_sequences=True))(x2)

2. local inference modeling

2.1 原理

a i ^ = ∑ j = 1 l b exp ⁡ e i j ∑ k = 1 l b exp ⁡ ( e i k ) b ˉ , ∀ i ∈ [ 1 , 2 , . . . , l a ] \hat{a_i} = \sum_{j=1}^{l_b} \frac{\exp{e_{ij}}}{\sum_{k=1}^{l_b} \exp(e_{ik})} \bar{b}, \forall i \in [1, 2, ..., l_a] ai​^​=j=1∑lb​​∑