GPT是否解决了信息抽取问题？

gz927cool

已于 2024-03-28 18:12:42 修改

阅读量972

点赞数 16

分类专栏：论文阅读笔记文章标签： gpt 人工智能论文笔记

于 2024-03-28 18:07:29 首次发布

本文链接：https://blog.csdn.net/gz927cool/article/details/137085844

版权

1 篇文章 0 订阅

订阅专栏

《Is Information Extraction Solved by ChatGPT? An Analysis of Performance, Evaluation Criteria, Robustness and Errors》论文笔记

借鉴点：

实验的设置非常全面。可以对抽取任务的不同侧重点有更全面地认识
写作方面行文流畅，囊括了将容易忽略的方法/技巧，这些技巧是工作中常见的，但使论文更加全面。
吐槽一下，有些的boss会认为这种内容没有创新点而直接毙掉，然后一篇论文就胎死腹中了。希望后面的工作目标不要”为了创新而创新“，也希望自己的 ”能力“ 能提升到和 ”目标“ 能相匹配

吐槽点：

从性能、评估标准、鲁棒性、错误类型四个方面评估了GPT执行信息抽取的能力；

在17个dataset及14个IE子任务上，使用zero-shot、 few-show ICL 、few-show COT 3个场景下进行评估，结果表明chatgpt和SOTA模型之间仍存在较大差距
对差距进行思考（hard-matching 不适用GPT），并提出soft-matching 策略更准确地进行评估
对鲁棒性进行分析，上下文和目标类型频率严重影响性能；GPT不能理解主谓关系
错误类型：错误标注是主要的错误类型，使用GPT注释数据的可能性

实体抽取、关系抽取、事件抽取、细粒度情感分析 4大方面、共14个子任务
--------【写论文为了体现实验全面真的搞得复杂。单就应用来说，现在只考虑考虑复杂情况和联合抽取，简单的情况已经解决的挺好了】

实体抽取：
- NER-Flat
- NER-Nested
关系抽取
- RE-RC 关系分类
- RE-Triplet 同时抽取实体和关系
事件抽取
- EE-Trigger 识别事件触发词并分类
- EE-Arugment 给定事件识别相关论元实体，并分类确定它们对应的角色
- EE-Joint 同时识别触发词、事件类型、及事件论元
细粒度情感分析
- ABSA-AE 抽取关观点的对象词（aspect）
- ABSA-OE 抽取所有观点词（opinion）
- ABSA-ALSC 为观点中的给定对象预测情感极性
- ABSA-AOE 为观点中的给定对象提取对应的观点词
- ABSA-AESC 同时抽取对象词和情感极性
- ABSA-Pair 同时抽取对象词和对应的观点词
- ABSA-Triplet 同时抽取对象词、观点词、情感极性