Learning Dynamic Context Graphs for Predicting Social Events阅读笔记

利用事件上下文进行事件预测的挑战

1. 数据规模飞速增长使得传统特征工程的模型结果准确性降低
2. 现有的事件预测模型通常考虑给定时间段内特征的顶点或总和，忽略了不同事件之间的时间依赖关系对未来事件的影响
3. 事件的描述信息不全面

创新

• 基于图神经网络，使用图表示事件上下文；（对应挑战3）
• 使用随时间变化的动态图网络分析事件上下文；（对应挑战2）
• 构建时间编码的特征模块，同时考虑语义嵌入和隐藏层图嵌入（对应挑战1）

流程

大体流程：将文本转换为图表示，再使用图神经网络模型学习，得到结果y

具体流程：
输入数据由按时间顺序排列的与事件相关的文本信息组成。
根据输入的数据构造动态图，并按时间将其输入到GCN层中。
输入特征由时态编码（TE）模块处理
最后一个GCN层的输出和当前字的嵌入，以捕获时态特征
计算模型输出$\hat{y}$和标注的真实值$y$之间的损失

编码

符号说明：

• t：表示时间步
• n：选取每篇文章内n个关键词
• k：表示当前事件信息前k天的信息
• $[A_{t-k},...,A_{t-1}]$:词关系图的邻接矩阵序列表示（A为n×n维）

使用PMI（point-wise mutual information）来衡量两个词之间的关联度

其中$d(i,j)$代表$t$时刻文本中同属出现i和j的文本总数，$d(i)和d(j)$分别表示出现i和j的文本总数，D是集合中所有文本的总数。

定义结点i和结点j在时刻t处的边权为：

PMI值越大说明语义相似度越高，此处只为PMI为正的词对之间添加边权。

动态图卷积网络模型

输入层

由输入数据进行编码，$[A_{t-k},...,A_{t-1}]$的边权值由PMI计算获得。

图卷积层

静态GCN

对于无向图$G(V,E)$,H为包含所有n个结点的特征矩阵（n×F维，F为特征向量维数）。对于给定的邻接矩阵A经过GCN层的映射,由$H$到$H^{(1)}$可以表示为
$$H^{(1)}=$$