论文阅读笔记：A Two-Step Approach for Event Factuality Identification

最新推荐文章于 2024-04-30 11:16:27 发布
最新推荐文章于 2024-04-30 11:16:27 发布
阅读量823 收藏
点赞数
分类专栏： 论文阅读 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Delusional/article/details/110489090
版权

A Two-Step Approach for Event Factuality Identification

期刊/会议：2015 International Conference on Asian Language Processing (IALP)

原文链接：https://ieeexplore.ieee.org/document/7451542

目录

摘要

概念梳理

事件真实性

Saudi等人的工作

FactBank语料库

方法和模型

两步走的方法

监督学习模型

Basic Features

Upper ESP Features

基于规则的模型

实验和结论

摘要

原文的表述

本文着重于确定事件的事实性。与以往的基于规则的方法不同，本文提出了一种将机器学习和基于规则的方法相结合的新颖的两步方法。首先，构造一个最大熵模型来确定事件确定性程度是否被表达。然后，引入了一组包含提示(cue)和范围(scope)检测的规则，以进一步标识各种事件事实值。实验结果表明，与基于规则的最新系统相比，我们的两步式方法可以实现更高的性能。

本文的工作是使用机器学习的方法（最大熵模型）来对事件进行一个初步的划分，将事件根据“确定性程度能否被表达”分成两大类（还有一个OTHER类别），接下来使用基于规则的方法对事件真实性进一步划分，提出两种方法相结合的方式，来确定的事件的真实性。

 

概念梳理

事件真实性

描述了一个事件会发生的概率，比如对于如下两句话：

在句子E1中，事件是rain，前面有may修饰，代表可能下雨，所以下雨这个事件是可能发生的。

在句子E2中，事件是go，根据句子的意思判断，go这个事件是一定发生的。

需要注意的是，上面的“可能发生”和“一定发生”只是对于Tom而言的，因为这是Tom说的话，而这个句子的AUTHOR（写下这句话的人），并没有对这两个事件的真实性做出承诺。

所以事件的事实性有一个或多个相关来源（relevant sources），比如上文的两句话就分别有两个来源。句子中的每个事件至少有一个来源，即文本的作者（写这个句子的人）。因此，在本文中，事件的事实性和现实生活无关，只和这个事件的相关来源对这个事件真实性的评估有关。

 

Saudi等人的工作

 
提出了一种基于规则的模型，该模型采取自顶向下遍历句法依存树的方法。
 
提出了FactBank语料库，提供了事件真实性的注释。
 
 
 

FactBank语料库

 
语料库中共有208个文档，3864个句子，9492个事件，13506个事件真实性标注的值。主要包含如下标注的信息：
 
Factuality value: 也就是事件真实性的表示，包含两个部分： modality and polarity，即形态和极性，modality包含 CT (certain), PR (probable), PS (possible), U (underspecified)， polarity包含 + (positive), - (negative), u(underspecified)，进行两两组合，有如下的几种形式：CT+, CT-, PR+, PS+, Uu等等。比如CT+代表一定发生，PR-代表可能不会发生，Uu代表无法判断这个事件的真实性。
 
 
ESP：FactBank中对事件event的定义也叫做 ESPs（Event Selecting Predicates），根据是否引入新的来源来判断事件的真实性，可以分成SIPs(Source Introducing Predicates) 和NSIPs (Non-Source Introducing Predicates)，SIP和NSIPs的概念十分重要，解释如下：
 
 
 
Relevant source and relevant source ID: 一般事件的相关的来源都是采取嵌套的形式表示，如：Tom_AUTHOR，如果relevant source ID是Tom，表示为s1，那么Tom_AUTHOR应该被表示为s1_s0，s0代表AUTHOR，事件相关源的定义如下：
 
 
 
 

Source role: 有cognizer和anchor两种，cognizer是直接致力于事件真实性的来源，而anchor则是代表cognizer对从属事件的真实性承诺的来源。如果事件的Source role不存在，那么事件的真实性就是Uu。对于句子E1中的事件rain而言，Tom是cognizer，AUTHOR既是cognizer也是anchor，AUTHOR是cognizer，因为它对rain这个事件的真实性也有贡献，是anchor的原因是因为它是“Tom对rain这个事件做出真实性承诺”的来源。

SLINK：即从属链接(Subordination Link)，SLINK用来表示两个事件之间的关系，包括MODAL, EVIDENTIAL, FACTIVE等，比如对于predicted和demise两个事件，若SLINK表示为predicted_demise_EVIDENTIAL，那么就代表这两个事件之间有一个可信的（evidential）连接。

 

方法和模型

两步走的方法

首先对于原始的事件，将其分成nonUu/Uu/OTHER三个类别，nonUu代表事件有着明确的可信度，如CT+/-, PR+/-, PS+/-，Un则代表事件真实性无法确定，OTHER是特殊情况，一般数量很少。这一步是通过监督学习模型完成的（最大熵模型），作者认为用机器学习的模型先进行分类之后，在剩下的那些nonUu类别中，使用基于规则的方法能够更好的识别除了Uu之外的其它类别，即CT+/-, PR+/-, PS+/-。

 

监督学习模型

Basic Features

模型中需要考虑如下Basic Features，即机器学习的一些特征：

当前事件，当前事件的POS（在句子的位置），当前事件的Relevant source and relevant source ID（相关源），事件的Source role（源角色），事件在句法依存树中的深度，事件的polarity and modality（形态和极性），事件的时态（如果它是动词），当前事件是否为SIP，事件的SLINK（从属链接）。

事件的polarity and modality在语料库FactBank中已经标注了，标注由两部分组成：POS/NEG，以及一个辅助的情态动词。比如POS_may代表一个事件被辅助情态动词may修饰；NEG_could代表事件被情态动词could修饰，同时这个事件是否定的。

 

Upper ESP Features

在Saudi的基于规则的模型中，充分利用了上级的ESPs（upper ESPs）和事件之间的关系来计算事件的真实性，基于这一点，作者提出了一些上级的ESP特征来增强监督学习模型，特征如下：

当前事件的上层SIP，事件的上层SIP触发的评估级别，上层ESP与事件之间的依赖关系，上层ESP的类别，上层ESP是SIP还是NSIP

事件的上层ESP是依赖关系树中，和当前事件最接近的ESP节点。评估级别是从上到下遍历依赖关系树时，每次找到新的SIP时创建的依赖关系嵌入的级别（每次找到SIP时会有一个新的级别）。

每个句子的默认评估级别为L0，与句子本身相对应。考虑以下句子：
 
 
E3具有三个评估级别：L0,L1,L2。事件told和said是SIP（需要引入新的来源来判断事件的真实性），它们触发L0，L1并分别介绍Tom，John。told事件只有默认来源AUTHOR（句子中没有任何其它人对told这个事件负责）；said事件有两个来源：AUTHOR，Tom_AUTHOR；事件go有四个来源：AUTHOR，Tom_AUTHOR，John_AUTHOR，John_Tom_AUTHOR。 attend事件受go事件的支配（go...to...attent），事件go是一个NSIP（没有引入新的来源来判断事件的真实性）。因此，事件go与attent的来源相同。
 
将SIP分为3类，共20类：
 
  • 预设类型，包括以下4类：disclose, know that, forget, pretend
  • 意见和报告类型，包括以下15类：say, imply, think, sure, deny, know_if,conjecture, lookLike, skeptical, doubt, fear, unsure,announce, expected, imagine
  • 疑问类型，仅包括1类：wonder
类型分组，19个类别：
 
  • 预设类型，仅包括I类：stop
  • 隐式类型，包括以下6类：manage,fail, cause, refuse, hesitate, attempt.
  • 认知类型，包括以下11类：certainty, impossibility, probability, improbability,possibility, uncertainty, evidence, confirm, suggest,appear, consider.
  • 投影类型，仅包括1类：want
 

基于规则的模型

使用了机器学习模型进行分类后，需要用基于规则的模型来进一步判断nonUu分类中事件的可信度是CT+/-, PR+/-, PS+/-中的哪个类别，这里需要用到线索词（cue）和作用范围（scope）的概念。线索词是不确定或者有否定含义的词，作用范围是线索词在句子中能够影响的范围。

线索词如下：

表示否定的词：no, not, never, neither, without, et al.

表示可能（PR）的词：probable, likely, expect, appear, et al.

表示可能（PS）的词：possible, may, might, et al.

对于线索词的作用范围，这里采取了一个简单的方式：如果线索词引导了一个从句，那么这个线索词的作用范围就是这个从句，如果没有引导一个从句，那么作用范围是线索词前面的1个词和后面的4个词。

获取事件的可信度，有如下的规则：

  • 如果事件处于否定范围内，或者事件的SLINK为COUNTER_FACTlVE，则事件事实性的极性为负，并且不允许该事件出现在任何非限制性从句中，原因是该句子的核心含义几乎具有与非限制性子句无关，也就是说，出现在非限制性从句中的事件没有什么价值。
  • 如果事件在PS或PR线索词的作用范围内，并且该事件也不允许在任何非限制性从句中，则事件事实性的形式为PS或PR。

为了有效地识别CT +和Uu，在分析句子的句法构造后采用了以下规则集，称为规则集2：

  • 如果事件的source role既是anchor又是cognizer，则事件的事实性为CT +。
  • 如果事件在引用语中、目的性状语从句中、条件结构中，则事件的事实性为Uu；如果事件属于是否从句（whether-clause），则事件事实性的极性为u。从语法的角度来看，当事件在这些上下文中时，它们通常不提供事件的事实性。

 

实验和结论

  • 使用Mallet 2来训练最大熵分类器，并使用Stanford Parser3来创建组成树和依赖树。
  • 为了与Sauri的系统具有可比性，使用TimeBank作为训练集，而使用ATimeML语料库作为评估性能的测试集。
  • 测试语料库中总共有589个句子和2192个事实值。
  • 测量指标：precision, recall, F1-measure（精度，召回率，FI值）以及宏观和微观平均（macro- and micro-averaging）
  • 考虑CT +，CT-，PR +，PS +，Uu，因为其它事件可信度的类别太少了。
  • 将Sauri的基于规则的De Facto模型作为baseline

 

表1：语料库中可信度类别分布情况

事实值CT +和Uu的实例在语料库中占大多数

 

表2：系统中监督学习模型的性能

可以看到，如果使用upper ESP功能，性能将得到改善。尽管Uu的性能不如基线，但与Sauri的系统相比，我们在nonUu类别中得到了和基线相同的F1值。

 

表3，4：系统的最终性能

 
在表3中，如果不考虑upper ESP功能，系统将获得比基线更好的宏平均，但更低的微平均。在考虑了upper ESP功能后，宏平均和微平均均高于基线，这表明可以获得更好的CT +，CT-，PR +，PS +，Uu性能，识别真实性更加准确。
 
表4显示了所有系统的主要事实类型的F1值。可以预期，CT +和Uu的F1值在所有系统中都很高，因为它们的实例最多。在作者提出的系统中，CT-的F1值是第二高的，这表明规则集2在识别事实的负极性方面做得很好。
 
在没有upper ESP功能的系统中，尽管CT+和Uu的性能低于Sauri系统，但获得了更好的CT-，PR +，PS+性能，这表明在线索词和作用范围的帮助下识别这些事实值非常有效。
 
考虑了upper ESP后，所有事实类型的F1值（PS +除外）均得到改善，所有这些F1值均高于Sauri系统。这些结果表明，由于上层ESP与嵌入事件的真实性之间存在密切的关系，因此在考虑最大熵模型中的上层ESP特征后，可以对更多事件进行正确分类。此外，该系统中也使用更少的规则，因此该系统比Sauri的模型具有更好的通用性。
 
 
 
 
 
 

 

 

 

论文阅读：FACTOOL: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and
CSPhD-winston的博客
02-28 956
这个方法厉害在能处理各种类型的任务，从查百科知识到检查代码运行，甚至能揪出论文里的假引用。实验显示，用GPT-4驱动的FACTOOL在多数情况下比AI自我检查更靠谱，特别是在查文献和代码时准确率超过90%。作者提出了一种叫做FACTOOL的工具，专门用来检查AI生成内容（比如ChatGPT的回答）中的事实错误。这个方法就像给AI装了个“事实检查员”，能自动发现AI可能胡编乱造的内容。：最后用AI自己（比如GPT-4）来对比证据和原内容，判断哪里说错了。：先把AI生成的长篇大论拆解成一个个小事实点。
Chinese SafetyQA: A Safety Short-form Factuality Benchmark for Large Language Models
c_cpp_csharp的专栏
01-23 142
随着大型语言模型（LLMs）的快速发展，出现了重大的安全问题。从根本上说，大型语言模型的安全性与它们对安全知识的理解的准确性、全面性和清晰度密切相关，特别是在法律、政策和伦理等领域。这种真实性能力对于确定这些模型是否可以在特定地区安全、合规地部署和应用至关重要。为了应对这些挑战并更好地评估LLM回答简短问题的真实性能力，我们引入了中国安全QA基准。中国安全QA具有几个属性（即中国、多样、高质量、静态、易于评估、安全相关、无害）。
论文笔记 ACL 2020|A Two-Step Approach for Implicit Event Argument Detection
o11oo11o的博客
12-09 1118
文章目录1 简介1.1 动机1.2 创新2 方法3 实验 1 简介 论文题目：A Two-Step Approach for Implicit Event Argument Detection 论文来源：ACL 2020 论文链接：https://aclanthology.org/2020.acl-main.667.pdf 代码链接：https://github.com/zzsfornlp/zmsp 1.1 动机 事件论元检测目前的SOAT方法分为两种：基于span和序列标注，基于span的方法复杂度太高
论文阅读笔记：An End-to-End Approach for Document-level Event Factuality Identification in Chinese
Delusional的博客
03-28 403
模型结构 文本主要提出了一个用于识别篇章级可信度的端到端的模型，即不用任何其它的特征，仅需要一个最核心的事件和整篇文本来识别篇章级的可信度。 文章中的模型如下所示： 首先对于一个文档D，它的表示为D={S1, S2, …, Sn} ，其中Si表示文章中的第几句话，模型的输入层，Q是根据篇章的核心事件提出的一个问题，如果事件用E来表示，那么问题Q就可以表述为“事件 E 的事实性值是什么”，举个具体的例子，比如篇章中最核心的事件E：United States reach an agreement wi
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio
o11oo11o的博客
03-29 1133
文章目录1 简介1.1 创新2 方法3.1 Local Uncertainty Estimation3.2 Uncertain Information Aggregation3.3 Reparameterization for Prediction3 实验 1 简介 论文题目：Uncertain Local-to-Global Networks for Document-Level Event Factuality Identification 论文来源：EMNLP 2021 自动化所 论文链接：https
最大熵模型文献阅读指南
hechenghai
07-05 641
转载地址：http://www.52nlp.cn/maximum-entropy-model-tutorial-reading 最大熵模型文献阅读指南 发表于 2009年11月4号 由 52nlp 　　最大熵模型（Maximum Entropy Model）是一种机器学习方法，在自然语言处理的许多领域（如词性标注、中文分词、句子边界识别、浅层句法分析及文本分类等）
最大熵模型（MaxEnt）解析
qq_41853758的博客
10-03 9255
给出了最大熵模型的一般形式（其中的f为特征函数，后面我们还会讲到）：  而文献【5】中我们从另外一种不同的角度也得出了多元逻辑回归的一般形式： 可见，尽管采用的方法不同，二者最终是殊途同归、万法归宗了。 所以我们说无论是多元逻辑回归，还是最大熵模型，又或者是Softmax，它们本质上都是统一的。本文就将从最大熵原理这个角度来推导上述最大熵模型的一般形式。   最大熵原理 首先，关...
论文笔记--GPT-4 Technical Report
weixin_38124427的博客
06-11 3700
GPT-4报告：更强大的多模态模型
COLING 2022事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总
o11oo11o的博客
10-19 2787
COLING 2022事件抽取相关(事件抽取、事件关系抽取、事件预测等)论文汇总，后续会更新全部的论文讲解。
UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models
c_cpp_csharp的专栏
04-30 98
大型语言模型（LLM）可能会生成与人类知识不一致的文本，导致事实不准确或产生幻觉。现有的评估LLM真实性的研究包括使用LLM提取事实声明，并根据预定义的事实来源进行验证。然而，这些评估指标是特定于任务的，并且不可扩展，并且事实来源在不同任务中的可替代性还没有得到充分的探索。为了应对这些挑战，我们对四个可用的事实来源进行了分类：人类书面证据、参考文档、搜索引擎结果和LLM知识，以及包含六个代表性数据集的五个文本生成任务。
ACL2020放榜！事件抽取、关系抽取、NER、Few-Shot相关论文整理~
carrie_0307的博客
05-20 4766
重磅！ ACL2020 官方放榜啦！传送门: https://acl2020.org/program/accepted/ 小编在此整理出了一份事件抽取、关系抽取、命名实体识别、Few-Shot以及在模型中使用GCN和其他一些感兴趣相关论文的列表，希望可以为需要的小伙伴提供便利吖~ (深夜整理，就不放链接了/(ㄒoㄒ)/~~) 事件抽取 Cross-media Structured Common Space for Multimedia Event Extraction Discourse as a
最大熵模型总结
weixin_30323631的博客
09-21 367
最大熵模型总结 声明：引用请注明出处http://blog.csdn.net/lg1259156776/ 摘要 本文对最大熵模型进行了系统性的学习和总结，从不同的角度来解读熵的概念以及最大熵的内涵。对最大熵的具体应用进行了梳理，并介绍了与最大熵相关的一些概念，最后通过一个简单的demo来对最大熵模型进行直观的认识...
李航《统计学习方法》第六章——用Python实现最大熵模型（MNIST数据集）
wds2006sdo的专栏
11-09 2万+
相关文章： 李航《统计学习方法》第二章——用Python实现感知器模型（MNIST数据集） 李航《统计学习方法》第三章——用Python实现KNN算法（MNIST数据集） 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器（MNIST数据集） 李航《统计学习方法》第五章——用Python实现决策树（MNIST数据集） 李航《统计学习方法》第六章——用Py
机器学习笔记（十九）——最大熵原理和模型定义
chunyun0716的专栏
11-27 1万+
一、最大熵原理    最大熵原理是概率模型学习的一个准则。最大熵原理认为，在学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵模型也可以表述为在满足约束条件的模型集合中选取熵最大的模型。     假设离散型随机变量XX的概率分布式P(X)P(X)，则其熵是： H(P)=−∑xP(x)logP(x) H(P)=-\sum_x P(x)
详解最大熵模型
热门推荐
这里记录着我一点一滴的进步
08-19 3万+
熵的概念在统计学习与机器学习中真是很重要，熵的介绍在这里：信息熵 。今天的主题是最大熵模型（Maximum Entropy Model，以下简称MaxEnt），MaxEnt 是概率模型学习中一个准则，其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要满足一些约束，则最大熵原理就是在满足已知约束的条件集合中选择熵最大模型。最大熵原理指出，对一个随机事件的概率分布进行...
最大熵模型：读书笔记
bluenight专栏
11-10 4166
                                  胡江堂，北京大学软件学院 1. 物理学的熵 2. 信息论的熵 3. 熵和主观概率（一个简单注释 4. 熵的性质 4.1. 当所有概率相等时，熵取得最大值 4.2. 小概率事件发生时携带的信息量比大概率事件发生时携带的信息量多 5. 最大熵原理：直觉讨论 6. 最大熵原理：一个手工例子 7
最大熵模型（maximum entropy model）
qq_37852766的博客
02-14 1724
3.特征函数????(????,????) 关于经验分布????̃(????,????)的期望值表示为: 特征函数????(????, ????)关于模型 ????(????|????)与经验分布????̃(????)的期望值表示为： 如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等。即 或 定义：假设满足所有约束条件的模型集合为 定义在条件概率分布 ????(????|????)上的条件熵为 则模型集合C中条件嫡H(P)H(P)H(P)最大的模型称为最大嫡模型。式中的对数为自然
最大熵模型原理小结
weixin_30216561的博客
04-05 588
　最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量机以及决策树算法都会加深理解。本文就对最大熵模型的原理做一个小结。 1. 熵和条件熵的回顾 　...
DICOM之Modality
破阵的专栏
01-16 5183
Modality A DICOM data object consists of a number of attributes, including items such as name, ID, etc., and also one special attribute containing the image pixel data.  One of attributes - DICOM mo
OpenFact: Factuality Enhanced Open Knowledge Extraction.
最新发布
04-03
### OpenFact 及其在事实增强型开放知识提取中的应用 #### 定义与背景 OpenFact 是一种专注于提升数据真实性的框架或库，在信息技术领域中被广泛应用于开放式知识抽取任务。它通过引入额外的事实验证机制来提高所提取信息的质量和可靠性[^1]。 #### 工作原理 该框架的核心在于结合自然语言处理技术和机器学习算法，以实现从非结构化文本中自动识别并验证实体关系的能力。具体而言，OpenFact 使用预训练的语言模型作为基础架构，并在此之上构建了一个多层次的事实校验模块，用于评估每条候选三元组（subject-predicate-object）的真实性得分[^2]。 以下是其实现过程的一个简化版本代码示例： ```python from transformers import pipeline, AutoTokenizer, TFAutoModelForSequenceClassification def validate_fact(text_pair): tokenizer = AutoTokenizer.from_pretrained("fact-checking-model") model = TFAutoModelForSequenceClassification.from_pretrained("fact-checking-model") inputs = tokenizer(list(zip(*text_pair)), return_tensors="tf", padding=True, truncation=True) outputs = model(**inputs) predictions = tf.nn.softmax(outputs.logits).numpy() return predictions.argmax(axis=-1) # Return binary labels indicating veracity. ``` 此脚本展示了如何利用 Hugging Face 的 `transformers` 库加载预先训练好的事实核查模型来进行简单的二分类预测操作——即判断给定陈述是否可信[^3]。 #### 技术优势 相比传统方法仅依赖于模式匹配或者浅层特征工程的方式，采用深度神经网络驱动的 OpenFact 能够更有效地捕捉复杂语境下的隐含意义关联，从而显著改善最终输出结果的一致性和准确性水平[^4]。 然而值得注意的是，尽管此类技术已经取得了长足进步，但在面对高度歧义或多模态输入场景时仍可能存在一定局限性；因此持续优化现有解决方案以及探索新兴替代方案将是未来研究方向之一[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值