一个简洁高效的textual entailment model
特点:
- 模型小,效果好
- 思路清晰
方法:
- 交叉使用attention model进行信息互嵌(AM)
- 使用self-attention(BERT, transformer) + relative-position embedding(XLnet) 进行contextual embedding
- 将自嵌与互嵌的vector进行concatenation,进行分类
感想:
上述技巧都是google一派的传统了,在应用到BERT or XLnet这种pre-train模型之前,已经在具体的模型工作上有了积累