EANN

EANN论文笔记

Abstract

fake new检测，主要落脚点在于检测新出现的紧急事件。过去的方法主要是学习了事件相关的特定特征，并不具备泛化性和通用性，所以对新出现的事件效果不好。文章提出了EANN来解决这个问题。

EANN包括三个部分，多模态特征提取器，虚假新闻检测和事件检测。多模态提取视觉和文本信息，主要是事件检测器去除多模态特征中与事件有关的特征，让虚假新闻检测使用分享的特征。

数据集从微博和推特收集。

Introduction

虚假新闻的坏处和检测的必要性。再次重述现在的模型提取特征的局限性。

首先做的是identify the event-specific features.转化成衡量不同的事件提取的特征之间的差别。（用L2距离可能不太适合，并且学习过程中提取特征在变化）

使用事件检测来衡量差别，loss越大，差别越小。特征提取需要让检测器很难检测出来是哪个类型的事件（对抗的思想）

Related work

rumor detection 谣言检测 spam detection 垃圾邮件检测

单模态检测：统计和语义特征。文本RNN，视觉特征还有一些社交特征比如follower数量，tag和转发。这个噪音比较多，并且对于新出现的事件没有什么作用。

多模态检测：

Adversarial network

对抗网络思想用于半监督学习等等领域，还可以建模为Minimax游戏。特征提取器的任务就是fool 检测器。

Model

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jqHc0kjI-1616220897143)(D:\study\论文\multimodal\EANN\1.png)]

TextCNN。使用了预训练的词向量。使用了不同窗口和多个卷积核。

VGG19。

Fake News Detector：两层全连接网络。使用交叉熵损失（普通分类）

Event Discriminator: 一个k分类神经网络。

Model Intergration

$$L_{final}({\theta }_f,{\theta }_d,{\theta }_e)=L_d({\theta }_f,{\theta }_d)-\lambda L_e({\theta }_f,{\theta }_e)$$

Ld是fake new分类误差，越小越好，Le是事件检测误差，越大越好。lambda是超参数。文章设置为1。
$$\begin{gathered} ({\theta }_f^{-},{\theta }_d^{-})=argmi{n}_{{\theta }_d,{\theta }_f}{L}_{final} \\ {\theta }_e^{-}=argma{x}_{{\theta }_e}{L}_{final} \end{gathered}$$
两个对立的优化函数。theta_f通过SGD优化。

Gradient reversal layer（GRL）在前向传播的时候类似恒等函数，反向传播的时候乘以- lambda传递梯度。

学习率延迟

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sCgGEEmZ-1616220897145)(D:\study\论文\multimodal\EANN\QQ截图20210129131937.png)]

主要的优化策略就是交替优化。

Experiments

Twitter dataset: MediaEval Verifying Multimedia Use benchmark 使用early stop策略

Weibo Dataset: 都是新闻，2012到2016的。

Baselines： TextCNN， VGG19（单模态） VQA，NeuralTalk,att-RNN(SOTA)

主要是quantitative analysis,对每个单模态的模型设计一个对抗模型，通过实验发现有对抗模型都提高了正确率。说明对抗模块是有效的。

Qualitative analysis ：使用t-SHE降维表示两种类型的特征表示，可以看到有对抗模块更加分散，两种更加分明。

展示了几张多模态检测出来但是单模态失败的几张图片例子。

s ：使用t-SHE降维表示两种类型的特征表示，可以看到有对抗模块更加分散，两种更加分明。

展示了几张多模态检测出来但是单模态失败的几张图片例子。

还分析了一下三种LOSS在训练和测试过程中的下降，来了解minimax过程。