【论文笔记】Multi-modal Knowledge-aware Event Memory Network forSocial Media Rumor Detection

论文标题：Multi-modal Knowledge-aware Event Memory Network forSocial Media Rumor Detection

论文链接：https://sci-hub.st/10.1145/3343031.3350850

论文代码：

发表时间：2019年10月

Abstract

网络谣言在社交媒体上的广泛传播和误导​​作用已成为公众和政府关注的关键问题。 发现和规范社交媒体谣言对于确保用户接收真实信息和维护社会和谐具有重要意义。

现有的谣言检测方法大多侧重于从媒体内容和社会背景中推断线索，很大程度上忽略了高度浓缩的文本背后的丰富知识信息，这些知识信息对谣言验证很有用。 此外，现有的谣言检测模型在未见事件上表现不佳，因为它们倾向于在已见数据中捕获大量特定于事件的特征，而这些特征无法转移到新出现的事件中。

为了解决这些问题，我们提出了一种新颖的多模态知识感知事件记忆网络（MKEMN），它利用多模态知识感知网络（MKN）和事件记忆网络（EMN）作为社交媒体谣言检测的构建块。

具体来说，MKN 学习社交媒体上帖子的多模态表示，并从现实世界的知识图中检索外部知识，以补充帖子短文本的语义表示，并将概念知识作为改进谣言检测的额外证据。

EMN 提取事件的事件不变特征并将它们存储到全局内存中。 给定一个事件表示，EMN 将其作为查询来检索记忆网络并输出事件之间共享的相应特征。 借助 EMN 提供的附加信息，我们的模型可以学习事件的稳健表示，并在新出现的事件上始终表现良好。

在两个 Twitter 基准数据集上进行的大量实验表明，我们的谣言检测方法比最先进的方法取得了更好的结果。

MKEMN的主要优势是：

1)捕获完整的语义意义，提出多模态知识感知网络(MKN)生成后表示通过处理单词嵌入、视觉嵌入和知识嵌入的多个堆叠通道就像彩色图像而明确保持对齐关系。

2)为了提取事件不变特征，提高谣言检测模型的能力，提出了事件记忆网络(EMN)，该网络在整个训练过程中共享一个外部记忆，以捕获事件独立的潜在主题信息。MKEMN处理事件帖子，获得多模态的知识感知表示，并将事件不变特征形成事件表示，最后将其输入深度神经网络(DNN)进行谣言检测。

Method

针对三种模态的数据Text、Knowledge、Vision输入进行编码，然后映射到一个帖子的表示中（本文是处理帖子是否为不当言论的）输出事件向量

EMN网络将事件向量作为查询来检索记忆网络并输出事件之间共享的相应特征

最后将事件的多模态知识感知表示和事件不变性特征输入深度神经网络（DNN），计算预测概率，判断事件是否为谣言

进行编码： 

Text Encoder：

word embedding后进入双向GRU，输出双向特征向量，然后对应拼接在一起得到最终输出向量

Knowledge Encoder：

从知识图谱中蒸馏出（distill）背景知识，以补充短文本帖子的语义表示。

1）首先，从帖子的文本内容中识别出知识实体

2）然后利用实体链接技术，通过将它们与知识图谱中预定义的实体进行关联并进行消歧

3）对于每个识别到的实体，我们从现有的知识图谱和生物分类准则中得到其概念信息

4）给定实体的概念信息后，引入注意力权重计算概念向量的加权和，最终得出表示概念的语义向量kt

Visual Encoder：

使用VGG-19进行编码，也可以理解成特征提取，VGG-19在pytorch中已经训练好参数，可以直接调用，也可以自己重新训练

MKN：

在文本、知识、图像编码之后，其分别的特征项链，简单粗暴，直接进行连接，如图

但是，这种方式会带来局限性：

1）连接策略打破了单词、相关知识和视觉数据间的联系，没有进行对齐

2）文字嵌入、知识嵌入和视觉嵌入都由不同方法学习得到的，这意味着它们不适合在一个向量空间中

3）连接策略强迫单词、知识和视觉嵌入有相同的维度，这种设置可能不是最佳的，因为表示维度的最佳维度可能是不同的

鉴于上述局限性，作者提出了多通道和word-knowledge-visual-aligned CNN

1）文本特征向量，占有一个文本通道

2）文本特征向量与视觉特征向量，引入注意力机制，占有一个视觉通道

3）本文特征向量与知识语义向量，结合注意力机制，占有一个知识通道

使用多通道CNN进行特征提取，输出最终的特征向量p

特征向量p进入GRU中，将隐含层最后一步作为输出作为事件的表示向量x

EMN

 本质上就是一个检索机制，Event是帖子最终经过MKN、GRU的输出事件表示向量x

然后在Memory中进行检索，计算概率，最后和表示向量x进行拼接，组成最后的表示向量X

 如图，是检索过程，最后输出事件表示向量X，公式最后一步的操作是拼接

 Deep Neural Network Classifier

可以理解成全连接层，原文如下：

Experiments

实验任务：检测社交媒体谣言方面的有效性

实验结果：MKEMN效果具有明显优势

实验任务：Twitter 数据集上 MKEMN 变体的比较，其中 R 是谣言，N 是非谣言。

实验结果：MKEMN效果最佳

 

实验任务：PHEME 数据集上 MKEMN 变体的比较，其中 R 是谣言，N 是非谣言。

实验结果：MKEMN效果最佳

写在最后 

多通道叠加，使用多通道CNN进行特征提取