事件数据库Event Databse (ICEWS & GDELT)

已于 2024-06-03 15:13:28 修改
阅读量5k 收藏 22
点赞数 5
分类专栏： 学习笔记 文章标签： 数据库 知识图谱 自然语言处理
于 2022-10-12 00:44:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kraisi/article/details/127269190
版权

目录

1 综合危机预警系统 Integrated Crisis Early Warning System (ICEWS)

https://www.lockheedmartin.com/en-us/capabilities/research-labs/advanced-technology-labs/icews.html

  • 监测、评估和预测国家、地方和内部危机；适用于如何分配资源以缓解危机的决策支持（比如，冲突预测）

  • 始于一个美国国防高级研究计划局（DARPA）在2008年启动的项目；现由洛克希德·马丁先进技术实验室负责数据库和模型的维护，由美国南方司令部和美国太平洋司令部组织测试和评估

  • 事件由 BBN ACCENT 事件编码器进行识别和提取

  • 事件类型编码遵循CAMEO分类系统
     
    数据库包括：
    （1）iDATA
    https://dataverse.harvard.edu/dataverse/icews
    在这里插入图片描述

  • 周报 Weekly Event Data，包含最近一周抽取的事件 （通常延迟 1 天更新）
    在这里插入图片描述

  • 年报 Coded Event Data（更新时间不确定）

  • 字典、 事件聚合、 事实数据集
     
    其结构化事件数据包含：

    • 源参与者source actor，事件类型event type，目标参与者target actor， 强度intensity，位置和坐标等信息
    • 地理-时间元数据 metadata
    • 由于版权原因，ICEWS不提供事件对应的源文本（新闻文章）
    • ICEWS不提供源文本的URL，因为文本内容是ICEWS向资料提供方直接购买的，不是通过网站获取的
       
      （2）iTRACE：趋势可视化和分析
      （3）iCAST：事件预测
      （4）iSENT：基于大众媒体的情感分析
       

2 全球事件、语言和语气数据库 （GDELT）

  • 基于超过100种语言新闻媒体，人类社会相关的近实时开放式数据库
  • 由雅虎的Kalev Leetaru，乔治城大学，以及Philip Schrodt等人共同创建
  • 使用 TABARI 系统对事件进行编码，采用另外的软件对位置和音调（Tone）进行编码
  • 事件参与者、事件类型的编码遵循 CAMEO 分类法 

数据流包括：
（1）事件数据库：编码全球范围内报道的事件活动（CAMEO）

  • 1.0版本：文件格式，包含每日抽取的所有事件；数据每天更新
    http://data.gdeltproject.org/events/index.html
    在这里插入图片描述

  • 2.0版本：谷歌云 （Big Query）；事件记录从 2013/4/1 起，数据每 15 分钟更新一次
    http://data.gdeltproject.org/events/index.html
    在这里插入图片描述
     
    事件记录包含以下属性：

    • 日期，事件参与者1（源）及其所处地理位置，事件参与者2（目标）及其所处地理位置
    • 事件类型相关event action： isRootEvent， EventCode， EventBaseCode， EventRootcode， QuadClass， GoldsteinScale（强度）， 事件提及次数NumMentions >= 提及事件的文章篇数NumArticles >= 事件信息的媒体源个数NumSources，AvgTone
    • 源文本（新闻）URL等

 
（2）记录这些事件背后的人、地点、组织、主题和情感及其相互联系
（3）编纂世界新闻图像的视觉叙事
 

3 冲突与调解事件观察分类法Conflict and Mediation Event Observations (CAMEO)

  • 早期工作

    • WEIS和COPDAB，均为冷战期间创建的分类法
    • 适用于当时主权国家常通过官方外交和军事威胁的方式做回应的情况
    • 旧分类法不太适用于当前种族冲突、低强度暴力、有组织犯罪活动和多边干预等问题
       

  • CAMEO的研究最早开始于2000年，原旨在协助美国美国国家科学基金会的一个州际冲突调解项目

  • 现广泛应用于 ICEWS 项目（鲁棒性强，可用性高）

    基于目前找到最新的2012年1.1b3版本：

  • 内容包括：事件编码方案（系统性强）、宗教和种族分类方案（新方案、系统性强）、参与者Actor分类方案（较不均衡）

  • 仍需持续研究的：参与主体Agent分类方案，特定区域编码

  • 展望：可考虑使用标准化的WordNet来重新定义CAMEO

    • WordNet：一个英语词汇数据库 ，根据词性汇总有名词，动词，形容词，副词等同义词集
       

4 通过增强替换指令进行文本分析 Textual Analysis By Augmented Replacement Instructions（TABARI）

http://www.mariapinto.es/ciberabstracts/Articulos/TABARI.htm

  • 基于模式识别，针对国际事件数据的机器编码系统
  • 开源，Kansas Event Data System（KEDS）项目的C++版衍生系统

 

5 比较ICEWS和GDELT

5.1 概要

ICEWSGDELT
日期√，事件发生时间√，包括事件发生时间和事件记录创建时间
事件参与者√，编码参考自有字典；包括名称，所属部门、国家√，编码参考CAMEO；包括名称，所属国家、组别、民族、宗教、类型
事件类型√√
事件强度√，Intensity√，GoldsteinScale
提及次数*√，NumMentions, NumArticles, NumSources
源文本URL(仅提供源出处Publisher)√
句子序号√
时间相同的事件总数少多

注：* 在ICEWS中，日期、参与者、事件类型等主要属性相同，但源发布者、源文本ID、句子序号不同，可能会对应不同的事件ID（如下图）；但在 GDELT 中可能会被视为同一个事件记录，因此GDELT会统计事件的提及次数。
在这里插入图片描述
 

5.2 示例

下面以2022 年 8 月 26 日发生的事件为例，分析比较两个事件数据库：

  • 提取的事件数：

    • ICEWS： 1929条（来自8/22-8/28的周数据集）+ 22条（来自8/29-9/4的周数据集）+ …
    • GDELT： 98359条（来自8/26的日数据集）+ 230条（来自8/27的日数据集）+ …
       

  • ICEWS提供了事件参与者的具体名字，但GDELT仅提供了参与者较为笼统的名称
    在这里插入图片描述

      					（ICEWS：参与者名字为佩罗西Nancy Pelosi，布莱客本Marsha Blackburn）

在这里插入图片描述

									（GDELT：参与者名字为美国官员US OFFICIAL）

 

  • 位置

    • GDELT：有时不能正确识别事件参与者所处位置
      在这里插入图片描述

        				 （GDELT：如第 13487 条，Actor2Name=美国官员，但Actor2Geo_FullName=中国 北京）

       
      查看第 13487 条的源文本（新闻），发现仅最后一段提及窜台事件，而“北京”是在最后一句有提及：
      在这里插入图片描述

 
再查找GDELT从本篇新闻提取到的所有事件，发现访问相关的参与者地理位置均有误：
在这里插入图片描述

		（注：事件编码EventCode，071指提供经济援助，042指访问Make a visit， 043指接待访问Host a visit）
	 

5.3 结论

来源：Arva, Bryan; Beieler, John; Fisher, Ben; Lara, Gustavo; Schrodt, Philip A.; Song, Wonjun; Sowell, Marsha; Stehle, Sam (July 3, 2013). “Improving Forecasts of International Events of Interest”. Retrieved June 21, 2014.

  • 宾夕法尼亚州立大学教授在欧洲政治研究协会会上的发表

  • 结论：在预测五个感兴趣的事件方面，GDELT数据表现优于ICEWS

  • 算法：随机森林，自适应增强AdaBoost

  • 原因：ICEWS算法过度减少误报（false negative）导致

    • ICEWS致力于减少误报的同时没有同步减少漏报（false negative），造成数据集的不平衡，而漏报的处理其实会更棘手
    • ICEWS处理误报的同时也消除了不少真阳性事件（true positive）
    • GDELT更倾向于生成一个高误报率、极低漏报率的事件数据库，而这个特点是有利于统计预测任务的
       

  • 建议

    • 每个数据集都有其自身的统计特征，建模时需要考虑所使用数据集的特征
    • 可考虑之后的预测模型集成这两个数据集的数据

注：上文“Improving Forecasts of International Events of Interest”所使用的ICEWS数据来自研究阶段，并非当时的生产数据。

姜行者
关注
  • 5
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
ICEWS:探索 ICEWS 数据集
05-30
ICEWS 此存储库中的文件是我为探索 ICEWS 而创建的脚本。 主要目标是了解 ICEWS 源并与其他事件数据集进行比较，尤其是 GDELT。
【Temporal Knowledge Graph】知识图谱论文泛读系列 1
cool_ye的博客
08-13 1334
本文提出了一种新的 temporal knowledge graph 表示学习模型，即 CyGNet 。 CyGNet 不仅能够从整个实体词汇（the whole entity vocabulary）中预测未来的事实，而且能够识别重复的事实，并根据过去已知的事实来预测未来的事实。.........
2024年全球十大数据安全事件(1)
最新发布
2401_84302796的博客
05-16 993
影响人数：6300万发现时间：2021年8月事件概要：vpnMentor的研究团队在8月份发现， B2B 营销公司 OneMoreLead 将至少6300万美国人的私人数据存储在一个不安全数据库中，该公司任由此数据库完全敞开。该数据库包含列出的每个人的基本个人身份信息数据，以及有关其工作和雇主的类似数据和信息。这些信息很可能被提供给注册其 B2B 营销服务的客户或顾客。vpnMentor 看到了数据库中大量的 .gov 和纽约警察局电子邮件地址，这让黑客有可能渗透到原本安全的高级政府机构。
GDELT数据库入门与了解（码字中...）
Where
07-09 8811
文章目录介绍数据库特点 介绍 GDELT数据库是一个全球社会数据库，在Google Jigsaw的支持下，GDELT项目用超过100种语言监控世界上几乎每一个角落的广播、印刷和新闻，并识别人物、地点、组织、主题、来源、情感、计数、引用、图像和事件，每时每刻都在推动着全球社会，为整个世界的计算创造一个免费的开放平台。 简单地说，GDELT 项目是一个通过世界新闻媒体的眼睛看到的人类社会的实时开放数据全球图，几乎实时地深入到世界上最偏远角落的本地事件、反应、话语和情感，并使所有这一切成为一个开放的数据流，使人类
基于历史对比学习的时序知识图谱推理
徐奕的专栏
12-25 3665
知识图谱（KGs）作为人类知识的集合，在自然语言处理、推荐系统和信息检索等领域显示展现了很好的前景。传统的KG通常是一个静态知识库，它使用图结构数据拓扑，并以三元组（s, p, o）的形式集成事实（也称为事件），其中s和o分别表示主语（头实体）和宾语（尾实体）实体，p作为关系类型表示谓词。在现实世界中，由于知识不断发展，时序知识图谱（TKG）的构建和应用成为领域热点，其中三元组（s, p, o）扩展为四元组，增加了时间戳t，即（s, p, o, t）。下图是由一系列国际政治事件组成的TKG。
GDELT GKG codebook自翻译
ThisIsTricy的博客
01-10 369
GDELT GKG 2.0 codebook自翻译，供参考学习，欢迎大佬指正
怎样从gdelt上下载数据_如何下载知网上的外文文献
weixin_31346703的博客
12-29 503
在写文章时，大家会经常用到中国知网，但会发现知网上的外文文献很难全文下载，那么怎样才能下载到中国知网的外文文献呢 ?今天小编就给写论文的朋友介绍一个解决办法。一、找到外文文献名字或者知道名字找到收录在哪个数据库1.登录知网官方网站，在知网中找到一篇自己需要的外文文献，或者是你知道文献名字，在知网上检索。下面以Chapter 12 Annona squamosa : Phytochemical Co...
【事件图谱 】领域Schema资源及构建
Minor0218的博客
10-16 944
本篇文章对已有开放领域事件体系和开放预定义事件论元结构做出了简单的介绍，并针对特定领域如何构建事件体系和事件论元结构提出一些可能的方法，也就是领域Schema的构建
h2databse 1.4.166 老版本官网数据库安装软件
08-28
h2databse 1.4.166 老版本官网数据库安装软件
SQLite数据库创建、更新demo
12-25
这两个方法都可以创建或打开一个现有的数据库（如果数据库已存在则直接打开，否则创建一个新的数据库） ， 并返回一个可对数据库进行读写操作的对象。 不同的是，当数据库不可写入的时候（如磁盘空间已满）...
powDesigner安装使用说明 逆向生成 数据库文档
08-14
powDesigner16.5使用文档，提供安装包地址，数据库逆向生成数据结构文档等详细图文说明
CyGNet:从历史中学习
05-05
赛网 该存储库复制了pytorch的AAAI'21论文“从历史中学习：使用顺序复制生成网络建模时间知识图”。 抽象的 大型知识图通常会增长以存储时间事实，这些时间事实对实体沿时间轴的动态关系或交互进行建模。 由于此类时间知识图经常遭受不完整的困扰，因此开发有助于感知缺失的时间事实的时间感知表示学习模型非常重要。 虽然时间事实通常在发展，但是可以观察到，许多事实通常在时间轴上显示出重复的模式，例如经济危机和外交活动。 这种观察表明，一个模型可以从历史上出现的已知事实中学到很多东西。 为此，我们基于一种新颖的时间感知拷贝生成机制，为时域知识图提出了一种新的表示学习模型，即CyGNet。 CyGNet不仅能够从整个实体词汇中预测未来的事实，而且能够通过重复识别事实，从而能够参考过去的已知事实来预测此类未来的事实。 我们使用五个基准数据集评估在知识图完成任务上提出的方法。 大量的实验证明了CyG
gdelt-toolkit:用于流式处理，整理和解析GDELT数据的工具
05-01
加特尔工具包 带有CLI和模块绑定的用于下载，解析和数据的工具 CLI API npm install -g gdelt-toolkit gdelt < cmd> [args] Commands: gdelt download get gdelt by datetime gdelt lint lint gdelt by datetime gdelt clean clean cache 下载 下载GDELT文件并以JSON或N3格式输出以指定UTC日期时间（ISO-8601）。 GDELT文件每隔15分钟发布一次； 省略datetime arg将下载当天的第一个文件。 下载内容在本地缓存。 为和定义了用于解析GDELT tsv文件的默认规则。 gdelt download [-d YYYY-MM-DD | YYYY-MM-DDThh:mm] [-f]
gdeltPyR:基于Python的框架检索事件，语言和音调的全球数据库（GDELT）版本1.0和版本2.0数据
05-10
Linux and Mac OS Windows OS Module Version Coverage Downloads gdeltPyR gdeltPyR是一个基于Python的框架，用于访问和分析Python Pandas或R数据数据。 用户可以输入单个日期，日期范围（两个字符串的列表）或单个日期（列表中的两个以上），并返回。 Python 2即将退休。 因为gdeltPyR依赖于将终止对Python 2支持的几个库，所以谨慎地做同样的事情。 在接下来的几个月中，Python 2中的gdeltPyR功能将变得有问题。 移至Python 3以获得最佳体验。 gdeltPyR通过检索 ，并将提供一种的方法。 因此，您拥有的内核越多，提取更多数据所需的时间就越少。 此外，您拥有更多的RAM，您可以拉取更多的数据。 最后，对于RAM受限的工作流，创建一个用于提取数据，写入磁盘和
oracle创建一个数据库三步走
12-16
mysql和sql server 直接通过create databse “数据库名” 就可以直接创建数据库了，而oracle创建一个数据库需要以下三个步骤： 创建两个数据库的文件 创建用户与上面创建的文件形成映射关系 给用户添加权限 一、创建...
Moddata.rar_数据库编程_Visual_Basic_
08-11
标题中的"Moddata.rar_数据库编程_Visual_Basic_"暗示了这个压缩包包含了一个与数据库编程相关的项目，使用的是Visual Basic编程语言。这可能是某个软件或应用的源代码，用于处理数据库连接和操作。 在描述中提到的...
论文浅尝 | Temporal Knowledge Graph Completion Using Box Embeddings
开放知识图谱
11-04 1378
笔记整理：杨露露，天津大学硕士论文链接：https://www.aaai.org/AAAI22Papers/AAAI-6210.MessnerJ.pdf动机时态知识图谱补全（TKGC）中的主要挑战是额外学习时间戳嵌入，以便嵌入模型根据关系、实体和时间戳嵌入联合执行评分。本文提出了BoxTE，一个用于TKGC的盒子嵌入模型，建立在静态知识图谱嵌入模型BoxE之上。亮点本文的亮点主要包括：（1）表明 ...
ICE学习（五）-Ice Storm介绍
热门推荐
kaede999的专栏
04-10 1万+
IceStorm 是一个高效的publish/subscribe服务。程序需要分发给多个信息的情况很多。比如一个天气监控程序，它从气象塔收集风速和温度情况然后定期的把他们分发到天气监控站，架构如下图 但是，这种架构的缺点就是，collector和monitor耦合在一起。这种耦合使得collector的实现变得复杂，因为他需要处理monitor的注册，投递，和错误恢复等等。 有了Ice我们可以
论文浅尝 | 从知识图谱流中学习时序规则
开放知识图谱
06-28 1876
论文笔记整理：汪寒，浙江大学硕士，研究方向为知识图谱、自然语言处理。链接：http://ceur-ws.org/Vol-2350/paper15.pdf动机知识图谱是现在...
databse migration oracle
10-05
数据库迁移是将一个数据库从一个系统迁移到另一个系统的过程。对于Oracle数据库来说，数据库迁移可以包括将数据库从一个服务器迁移到另一个服务器，或者将数据库从一个版本升级到另一个版本。 数据库迁移的目的可以有多个，例如提供更好的性能、增加可用性、减少成本等。无论迁移的原因如何，一般来说，数据库迁移的过程可以分为以下几个步骤： 1. 分析和评估：在开始迁移之前，需要对当前数据库进行详细的分析和评估。这包括了解数据库结构、存储需求、性能指标等。 2. 准备环境：在迁移过程中，需要准备目标环境。这可能涉及设置新的服务器、安装新的操作系统和数据库软件等。 3. 数据迁移：将数据从源数据库迁移到目标数据库。这可以通过备份和恢复数据库、使用数据泵工具、使用物理复制等方式实现。 4. 应用程序迁移：除了迁移数据库本身，还需要迁移与数据库相关的应用程序。这可能涉及修改连接字符串、更改SQL语句等。 5. 测试和验证：在迁移完成后，需要对新的数据库进行测试和验证。这可以包括性能测试、功能测试等。 6. 切换和升级：一旦新的数据库经过测试和验证，可以进行切换操作，将应用程序指向新的数据库。如果数据库升级是迁移的一部分，也需要进行相应的升级操作。 7. 后续维护：数据库迁移完成后，需要进行后续的维护工作。这包括备份和恢复策略、性能优化、监控等。 总的来说，数据库迁移是一个复杂的过程，需要认真规划和执行。在迁移过程中，需要确保数据的完整性和一致性，并最大程度上减少停机时间和数据丢失的风险。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值