论文阅读【Multi-modal Knowledge-aware Event Memory Network for Social Media Rumor Detection】

摘要

谣言检测存在的问题，学习了旧事件，新事件表现不好。
提出新的多模态知识事件记忆网络(MKEMN)，利用多模态知识感知网络(MKN)和事件记忆网络作为构建模块(EMN)，用于社交媒体谣言检测。MKN学习社交媒体上帖子的多模态表示，从真实世界的知识图中检索外部知识来补充帖子短文本的语义表示，并将概念性知识作为额外证据来提高谣言检测。 EMN提取事件的事件不变特征并将其存储到全局存储器中。

总体框架图

两大模块

多模态知识感知网络(MKN)

文本编码

①词嵌入,$s=[w_1,w_2,w_3,\cdots ,w_n]$，$w_i\in {\mathbb{R}}^{d_w}$为第i个单词的向量
②捕获上下文，Bidirectional GRU
$$\begin{gathered} \overrightarrow{h_t}=GRU(w_t,\overrightarrow{h_{t-1}}) \\ \overleftarrow{h_t}=GRU(w_t,\overleftarrow{h_{t+1}}) \end{gathered}$$

知识编码

原来文本语义不够强，所以需要外来补充。
知识蒸馏的三大步骤

第一，$s=[w_1,w_2,w_3,\cdots ,w_n]$，解释每个词的意思，利用实体链接技术，关联知识图的预定义，去除原文歧义
第二，将意思缩略，获取主要信息描述，每一个实体$e\in E_s$,实体的概念$C_e=(c_e^1,c_e^2,\cdots ,c_e^m)$
但是每一个概念描述中可能存在一些噪点，没有用的东西，所以需要这些东西的负面影响。提出概念注意来计算第i个概念$c_e^i$和单词表示$h_t$间的表达。

${\alpha }_t^i=softmax(\mathcal{F}(W_c$