raid怎么做gpt_用GPT来做distant supervised RE（ACL-2019）

最新推荐文章于 2021-07-29 02:27:19 发布

weixin_39735247

最新推荐文章于 2021-07-29 02:27:19 发布

阅读量189

点赞数

文章标签： raid怎么做gpt

本文链接：https://blog.csdn.net/weixin_39735247/article/details/111618609

版权

该博客讨论了一篇发表在ACL-2019上的论文，该论文研究了如何利用预训练的Transformer模型GPT进行远程监督关系抽取。作者指出现有方法在处理长尾关系时存在不足，而GPT由于其对语法、语义知识的学习能力，成为了一个选择。通过多实例学习方法微调GPT，试图改善长尾关系的识别。尽管实验结果显示在特定指标上有所提升，但整体创新性和优势并不显著，未来工作将深入探究深度语言模型的句法结构捕捉能力。

摘要由CSDN通过智能技术生成

Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction

https://www.aclweb.org/anthology/P19-1134/www.aclweb.org

发表在ACL-2019上面。

后来发现这篇paper的作者，居然用差不多的思路在relation classification 上面也搞了篇paper。claim的点都差不多，服了。。。

论文地址如下：

https://arxiv.org/abs/1906.03088

看名字也知道是用预训练模型来做distant supervised RE的。

先说之前的工作如何：Current relation extraction methods try to alleviate the noise by multi-instance learning and by providing supporting linguistic and contextual information to more effificientl