软模板SoftProto框架

软模板SoftProto框架

• 武汉大学的EMNLP2020文章，该工作提出基于软模板的 SoftProto 框架来增强方面词抽取任务，旨在解决评论文本中方面词和环境词具有长尾分布的问题。
• 主要内容参见论文作者的文章-here
• 简要介绍：
  • 问题与动机：由于缺少包含尾部词的样本，序列标注器可能会收敛到较差的状态。如图 1 所示，在常用的 SemEval 数据集中，大约 80% 的方面词和环境词（即非方面词）都出现不超过 5 次。
  • 方法：为了解决上述问题，我们的基本设想是将样本相互关联起来，从而帮助罕见词的抽取。
    • 常见方法：同义词替换，缺点是相关数据少，利用词向量寻找紧邻不能保证语义；此外，上下文不一样，词的意义不一，难以用固定的同义词替换；
    • 作者的方法：动态关联/生成，且结合上下文====>语言模型的优点
    • note：其实我们经常发现一些测试例子的句式在训练数据中是有相似的，但是模型就是学不出来，很可能就是长尾词、词组影响到了结果，作者的方法可以为这些词引入模型更熟悉的信息，因此可以提高效果；
  • 实现：此处只摘取主要内容，详情参考上述两篇文章
  • 实验及分析：我们还发现 SoftProto 带来的提升在小数据集（Res15 和 Res16）上更为明显，这是因为在小数据集中没有足够的样本来训练一个好的神经网络序列标注器。
    
• 总结：
  • 语言模型能提供更多信息的优势在该方法中比较突出；
  • 该方法可以结合到其他任务中
  • 感谢作者