Progressive Multitask Learning with Controlled Information Flow for Joint Entity and Relation Extraction
信息交互方式——注意力机制的计算和使用
核心出发点:
先前预测的内容对之后的预测会有帮助,应该适当的融合先前预测的信息内容。
H是信息表示,通过classsifier得到结果——第一条链路
classifier C’ which takes H as input and produces the prediction Y’—这些早期预测提供了一些关于 Y 的信息,这些信息可以用作 H 的附加信息,以提取更具表现力的表示 T。—这些早期预测提供了一些关于 Y 的信息,这些信息可以用作 H 的附加信息,以提取更具表现力的表示 T。——第二条链路
Y 0 不一定是基本事实,因此并非 Y 0 中包含的所有信息都可能对模型性能有益。因此,我们认为有必要控制 Y 的信息流。一个随机映射 (SM) 来模拟 H 和 T 之间的互信息,条件是 Y——第三条链路
文章的建模任务——NER&RC的联合任务
部分匹配(上)和完全匹配(下)在 NYT 和 WebNLG 上的结果