Abstract
本文应用依赖关系的思想,通过biaffine模型多句子中的开始token和结束token进行打分,将NER任务建模为一项识别开始和结束索引的任务,并为定义的spans分配类别。
Model
- 使用单词嵌入和字符嵌入作为输入
- 使用BERT获取上下文相关嵌入
- 使用CNN得到基于字符的嵌入
- 将其嵌入输入到BiLSTM中,获得单词表示:
x
x
x
- 应用两个单独的FFNN为spans的start/end创建不同的表示: ( h s / h e ) (h_s/h_e) (hs/he)
- h s ( i ) = F F N N s ( x s i ) h_s(i)=FFNN_s(x_{s_i}) hs(i)=FFNNs(xsi)
- h e ( i ) = F F N N s ( x e i ) h_e(i)=FFNN_s(x_{e_i}) he(i)=FFNNs(xei)
- r m ( i ) = h s ( i ) T U m h e ( i ) + W m ( h s ( i ) ⊕ h e ( i ) ) + b m r_m(i)=h_s(i)^TU_mh_e(i)+W_m(h_s(i)\oplus h_e(i))+b_m rm(i)=hs(i)TUmhe(i)+Wm(hs(i)⊕he(i))+bm
- 提供给biaffine分类器
- 通过biaffine模型创建 l × l × c l\times l \times c l×l×c的评分张量 r m r_m rm
Result
启示
- 模型很简单,得分却奇高,如果有torch的代码就果断出击了