EANN多模态新闻检测论文阅读

多模态虚假新闻检测论文阅读EANN： Event Adversarial Neural Networks for Multi-Modal Fake News Detection

1. 目的

本研究的目标是设计一个有效的假新闻识别模型，去除所有事件中不可转移的 event-specific features，并保留所有事件的共享特征。

2. 主要解决的问题

本文的主要贡献可以总结如下:

• 据我们所知，我们首次提出了针对新的和时间关键事件的虚假新闻检测，它可以基于多模态特征识别虚假新闻，并通过移除事件特定的特征来学习可转移的特征。为此，我们提出了一种端到端的事件对抗神经网络。
• 所提出的EANN模型使用事件鉴别器来测量不同事件之间的差异，并进一步学习事件不变特征，这些特征可以很好地概括新出现的事件。我们提出的EANN模型是检测假新闻的通用框架。集成的多模态特征提取器可以很容易地被设计用于特征提取的不同模型所替代。
• 我们的经验表明，所提出的EANN模型可以有效地识别虚假新闻，并在两个大规模真实世界数据集上优于最新的多模态虚假新闻检测模型。

在使用了多模态信息的拼接过程中，同时借鉴了生成对抗的思想，通过Event Discriminator使新闻去除掉独立于事件的特征，提高泛化性，在通用事件中检测得到假新闻。

3. 模型详细介绍

EANN模型集成了三个主要组件:多模态特征提取器、虚假新闻检测器和事件鉴别器。首先，由于社交媒体上的帖子通常包含不同形式的信息(例如，文本帖子和附加图像)，多模式特征提取器包括文本和视觉特征提取器，以处理不同类型的输入。在学习了文本和视觉潜在特征表示之后，它们被连接在一起以形成最终的多模态特征表示。假新闻检测器和事件鉴别器都建立在多模态特征提取器之上。假新闻检测器将学习到的特征表示作为输入，以预测帖子是假的还是真的。事件鉴别器基于这个潜在的表示来识别每个帖子的事件标签。

- 文本层面：

使用textcnn来实现文本的特征提取，原文同时也使用4种不同窗口大小的多个过滤器来捕获不同粒度的特征。

上述表示的是一个句子，剩下的表示不同的词汇相连，根据conv的要求，把T1到Th为一个输入，取中间的Ti开始h个词汇进行表示

通过卷积和激活函数relu得到ti

通过无数次卷积t连接起来可以得到特征向量

最后通过最大池化层后进行拉直，在通过全连接层和激活函数，得到最终的特征，维度为p（和图像特征维度相同）

- 视觉层面：

采用已经预处理过的vgg19提取视觉特征，

在VGG19网络的最后一层之上，我们添加了一个全连接层，将最终视觉特征表示的维数调整为p，然后再和文本特征进行拼接得到最终的多模态特征向量Rf

- Fake News Detector

通过Gf函数获得多模态提取的特征在通过Gd新闻检测得到假新闻的概率

损失函数：

此处分辨真假新闻，二分类，用交叉熵损失函数来实现。
最终目标：

这只能捕获特定事件中的知识，我们需要一个泛化的模型因此引入event discriminator
- Event Discriminator
其目的是基于多模态特征表示将帖子正确分类为k个事件之一，损失还是使用交叉熵损失。

但是它的要求是让这个模型区分不出来是什么事件以此来删除事件特定的特征，因此它的损失要越大越好

最终损失：

λ实际上是调节两个损失的平衡，这里采用1

最后发现得到了saddle point
因此采用了随机梯度下降及gradient reversal layer (GRL) 解决上述问题
其中grl为了避免像GAN那样分别固定生成器与鉴别器参数的方式进行分阶段训练，这也使得代码编写出现较大困难，为了编程方便，并实现真正意义上的端到端训练，在DANN结构中提出了全新的梯度反转层（Gradient Reversal Layer, GRL）, 使得在反向传播过程中梯度方向自动取反，在前向传播过程中实现恒等变换，详细可以看看这个dann论文。

本文中使用：

使用和原文一样的方法衰减学习率。

其中α = 10，β = 0.75，p根据训练进度从0到1线性变化。

4. 评估
   数据集使用weibo和Twitter数据集
   
   从单一模态，多模态，是否存在事件辨别器等几种模型来进行分析
   
   最后从定性定量角度进行分析，最后发现事件辨别器确实是发挥了很大作用，
   
   上图采用 t-SNE进行研究发现eann确实比eann-效果好
   不足：
   特征的拼接仅仅是简单的拼接，多模态的融合还有很多可以挖掘的地方，attention等机制可以使用增强最终的判别。