基于关系图卷积神经网络的多标签事件预测

摘 要:事件预测需要综合考虑的要素众多,现有预测模型多数存在数据稀疏、事件的组合特征及时序特征考虑不足、预测类型单一等问题。为此,提出了基于关系图卷积神经网络的多标签事件预测方法,通过节点特征聚合技术实现数据的稠密化表示。模型利用卷积神经网络的卷积和池化运算提取预测数据的组合时间段特征信息,并结合长短期记忆网络的时序特征提取能力,进一步提取预测数据的时序规律特征;最后,模型通过全连接的多标签分类器,输出多种类型事件发生的概率值实验结果表明,所提模型可以支持进行多日期、多类型事件预测,在特定数据集上最高 FI 值可以达到0.85。

关键词:事件预测:多标签事件;关系图卷积神经网络:长短期记忆网络

Multi-label Event Prediction Based on Relational GraphConvolutional Neural Network

( Southwest China Institute of Electronic Technology ,Chengdu 610036,China)

Abstract;Event prediction requires comprehensive consideration of many factors . and lots of the existingprediction models have some problems , such as sparse data,insufficient consideration of combined featuresand sequential features of the events , and single prediction type. To solve these problems ,a multi-labeevent prediction method based on relational graph convolutional neural nelwork is proposed by node featureaggregation technology. The proposed model extracts the combination features by using convolution andpooling algorithm ,and extracts the sequence features by using long short term memory networks, Finally ,themodel oulputs the probability for all of the predicted events through a fully connected multi-label classifier.The experimental results show that , the proposed model supports predicting multi-date and multi-typeevents.The maximum Fl value can achieve 0. 85 on specific data set.

Key words: event prediction ; multi-label event;relational graph conventional neural network ;long and shortterm memory network

        用例如在交通领域,提前对天气情况和旅客出行习贯进行分析,可以对未来交通拥塞状况进行预测,提升旅客出行效率:在网络安全领域,可以提前识别网各用户的操作行为,评估其行为风险程度从而对未来可能发生的欺诈交易、盗取账户流量攻击等事件是前进行预测预警。对重大事件进行预测预警.有助于为该事件的后续发展预先做好充足准备,预测是决策的前提,任何成功的决策都离不开科学的预测。
        人工打分法是一种传统的事件预测方法。该方去需要人工建立事件预测的指标评估体系,利用当前发生的具体事件与指标评估体系进行对比,再经寸人工研判,达到事件预测的目的。这种方法主要有两个缺点:第一,人工建立事件预测指标和研判过星.都需要大量专家经验专家的主观情感往往会景响预测结果,并且在预测需求较大情况下.由于人员散量限制,很难做到高效客观的事件预测;第二所建立的预测指标体系往往只考虑了当前最近的事件数据.不涉及到较远时期的数据.因此评估预测准确率低。

        近年来,随着人工智能的发展,基于人工智能以及深度学习技术的事件预测方法取得了一定发展利用互联网爬取的非结构化事件新闻数据通过事牛检测、事件要素抽取、事件融合、事件关系挖掘、事牛跟踪等一系列技术处理后.利用深度学习方法进行模型训练.最后通过二分类或者多分类器对事件在未来是否发生进行预测。现有基于人工智能的事生预测方法(1-3]很大程度上弥补了人工打分预测方法的不足但仍存在以下不足。
(1)数据方面由于支撑事件预测的数据字段内容描述维度众多由非结构化数据中提取的要素学在很大的稀疏性同时.数据中存在较多干扰预测吉果的不相关要素,因此导致预测模型巨大,计算复杂度高.预测准确率不理想。

(2)传统预测模型往往仅考单一时间节点的现状对未来事件做出预测,而未考虑长期的阶段性事件对未来的影响。而现实场景下.影响未来事件往往并非单一时间节点上的现状而是一个组合时间段的现状。例如.股票市场某一支股票价格持卖五天上涨第六天开始下跌,并不应该仅根据第六天股票下跌情况对未来的价格进行预测,而是要结合这一段时间以来的情况综合考虑股票未来走势。
(3)传统预测模型对历史事件的时序规律特征考虑不足。例如.由大数据分析得知,网友购买商品.458的行为有如下规律:浏览网页 A购买商品 B购买配套商品 C,那么这个存在先后顺序的事件序列就具备典型时序特征,这种时序规律特征往往是影响未来事件的重要因素在事件预测的过程中也需要重点考虑。
(4)传统预测模型通常基于二分类器或者多分类器.这类分类器仅能输出某单一类型的事件是否发生而不能对未来多种类型事件发生的可能性进行量化判断。而现实场景下,往往未来要发生的事件并不是只有发生和不发生两种状态,并且待判断事件也并非只有一种类型,而是多种类型事件均有发生的概率,多类型事件发生概率的预测也非常重要。

本文提出一种基于关系图卷积神经网络的多标签事件预测方法.通过构建事件异构图.采用多关系下的节点特征聚合技术,可以降低预测数据的稀疏性并压缩模型大小。利用卷积神经网络(Convolutional Neural Nelwork.CNN)的卷积和池化运算.压缩特征向量的同时提取组合时间段的特征信息.结合长短期记忆网络的时序特征提取能力.进一步提取预测数据的时序规律特征,最后以全连接的多标签分类器作为输出.进行多类型事件发生概率的预测。提出的预测模型能够结合历史事件的单时间点、组合时间段事件时序规律等特征，高效地预测未来多类型的事件发生可能性。

1 基于关系图卷积神经网络的多标签事件预测模型
1.1关系图卷积神经网络
        在事件预测的业务场景中,为了保障事件预测的准确性,需要综合考虑多方面的要素.比如事件的施事者是谁?受事者是谁?事件是什么时间点发生的?在什么地方发生的?同时发生的有哪些伴随性的子事件?全面考虑全方位的事件要素,会导致预测模型过于庞大计算资源不足计算效率低下等问题。另一方面.全量事件要素数据往往存在稀疏问题过于稀疏的预测数据也会诱发预测模型出现梯度消失过拟合等现象。因此.对预测的稀疏数据进行稠密化表示十分必要。
        关系图卷积神经网络( Relational GraphConvolutional Network.RGCN)是 Michael 等人(6]于2017 年提出的一种提适卑堡啊跋取复杂多关系图中节点和边特征的方法.可以用于解决大规模知识图谱中的关系预测与节点分类问题。RGCN 在传统图卷积神经网络(Graph Convolutional Network.GCN)[7的基础上,提出了多关系节点特征的聚合方法.不仅将图神经网络技术的应用面由简单同构图扩展到了异构图上.同时采用特征聚合技术将原本稀疏的数据进行了密化表示。

        在事件分析与预测业务中构成事件的要素可以用异构图的节点表示.要素之间的关系可以用边表示。事件要素包括受事者、施事者、事件发生时间事件发生地点事件类型等多种类型,不同类型之间的关系也各不相同。因此.由事件要素构成的图为典型的多关系异构图,如图1所示。

        由图1可以看出,节点的邻域节点包含 a、b、c、d、e 5 种类型节点各类型节点与t1之间的关系互不相同。根据邻域节点与中心节点的关系方向,进一步将关系分为人度关系和出度关系,邻域节点指向中心节点的称为人度关系,中心节点指向邻域节点的称为出度关系。
        通过 RGCN 能够很好地实现事件异构图下的特征提取任务。首先是事件异构图构建,以事件发生时间作为中心节点.施事者、受事者、事件类型事件发生地点等元素为邻域节点.构建事件异构时序图。然后通过 RGCN 原理聚合邻域节点的特征信息,聚合后的中心节点特征向量可以表示为[6]

(1)NCi式中;h;表示与i节点相连的邻域节点特征向量;N表示节点i在关系下的邻居节点集合;R 表示节点i所有关系种类总数;c是一个用于归一化的超参数,可以被设置为INI;w”是第1层的节点向量在关系r下对应权重,为可学习参数,调整 w”的矩阵维度可以调整输出节点特征向量的维度;W。为自环关系下的权重。
        利用 RGCN 计算时间节点的特征向量的具体步骤如图 2 所示。