基于昇思MindSpore的能量超球体模型提升以事件为中心的结构化预测

最新推荐文章于 2024-09-13 23:05:45 发布

昇思MindSpore

最新推荐文章于 2024-09-13 23:05:45 发布

阅读量586

点赞数 16

文章标签：分类深度学习数据挖掘人工智能算法

本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/140469887

版权

论文标题

SPEECH: Structured Prediction with Energy-Based Event-Centric Hyperspheres

论文来源

ACL 2023

论文链接

https://aclanthology.org/2023.acl-long.21/

代码链接

https://github.com/mindspore-lab/models/tree/master/research/ZJU/speech

昇思MindSpore作为开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能、安全可信的体验，支持国内高校/科研机构发表1000+篇AI顶会论文。本文是昇思MindSpore AI顶会论文系列第41篇，我选择了来自浙江大学的张宁豫和新加坡国立大学Bryan Hooi老师团队发表于ACL的一篇论文解读，感谢各位专家教授同学的投稿，更多精彩的论文精读文章和开源代码实现请访问Models。

01 研究背景

以事件为中心的结构化预测旨在输出事件的结构化组件。事件结构往往比较复杂，而且结构间存在多种依赖，比如Token之间的长距离依赖、触发词和事件类别之间的关联、以及事件类别和事件关系之间的依赖。

为了解决这些问题，本文提出了基于能量的超球体（SPEECH）以解决以事件为中心的结构化预测任务。SPEECH模型的设计灵感主要来源于万有引力定律和能量函数。如果把抽象的事件类别看成电子核/恒星，其对应的样本就可看成核外电子/行星。因此本文提出利用基于能量的超球体来建模事件类别及其样本。模型主要与 token、sentence、document三种维度的能量相关联。

SPEECH使用基于能量的建模对事件结构化组件之间的复杂依赖进行建模，并使用简单但有效的超球体来表示事件类别。在MAVEN-ERE和OntoEvent-Doc两个事件数据集上进行的实验表明，SPEECH模型在事件检测和事件关系抽取任务上表现不俗。

为了进一步优化SPEECH模型的性能，我们将其在昇思MindSpore平台上进行了实现与测试。昇思MindSpore作为一个新兴的深度学习框架，具有高效、灵活和易于部署的特点, 并提供了丰富的工具集来加速模型的开发和优化。利用昇思MindSpore的模型优化工具，我们对SPEECH模型的结构和参数进行了多次迭代和调优，进一步提升了模型在事件检测和事件关系抽取任务上的性能。

02 团队介绍

张宁豫，浙江大学副教授，浙江大学启真优秀青年学者，在高水平国际学术期刊和会议上发表多篇论文，代表工作有KnowPrompt、DeepKE、EasyEdit、OceanGPT（沧渊）等，获浙江省科技进步二等奖，IJCKG最佳论文/提名2次，CCKS最佳论文奖1次, 担任ACL、EMNLP领域主席、ARR Action Editor、IJCAI 高级程序委员。

03 论文简介

SPEECH 模型的设计灵感主要来源于万有引力定律和能量函数。如果把抽象的事件类别看成电子核/恒星，其对应的样本就可看成核外电子/行星。因此本文提出利用基于能量的超球体来建模事件类别及其样本。模型主要与 token、sentence、document 三种维度的能量相关联。