ner新的打开方式

        ner目前主流的打开方式就是抽取器(lstm,cnn,transformer)+crf。今天介绍几种新的ner打开方式-prompt learning。prompt learning主要运用低资源场景下的ner,依靠预训练模型中通用的语言知识,能够应对数据少的ner场景。还有一个好处是可以做到持续学习,在新增实体label时,以前的模型需要重新训练,而prompt learning的方式可以通过构建相应template数据做到继续训练学习。

1.LightNER       

论文链接:https://arxiv.org/pdf/2109.00720.pdf

         主要的模型结构是编码器+ 解码器的生成方式,解码器生成的输出是下标,下标对应的是word index+entity index。因为ner其实有两个输出,一个是抽取一个分类。这里的输出设计也很巧妙。词和实体label共同组成了一个输出词表,依次是输入的词和所有的实体标签。解码器输出下标如果是在word下标范围内就表示模型抽取到了实体,而下一个时间步输出的应该是该实体的标签,所以通过输出词下标和标签下标的交替组合得到ner的两个输出。

 2.Template-free Prompt Tuning for Few-shot NER 

论文链接:https://arxiv.org/pdf/2109.13532.pdf

        改方法通过Label Word Engineering找到每个实体标签下的代表词汇,在预训练模型的字符输出时,实体词汇会输出对应实体标签的代表词,非实体词会输出本身。该方法看似不需要人工构造prompt template,但是需要进行label word search。

3.Template-Based Named Entity Recognition Using BART

论文链接:https://arxiv.org/pdf/2106.01760.pdf

         该方法就是比较直接的prompt learning的形式了,设计了template,使用了编码器解码器结构的预训练模型。正如前面说的,ner的输出有span和label两个,在构建template的时候span的构建是通过遍历跨度长度的形式进行了,template的数量会随着query的长度而增加,相应的计算时间也会增加。

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值