EANN论文笔记
Abstract
fake new检测,主要落脚点在于检测新出现的紧急事件。过去的方法主要是学习了事件相关的特定特征,并不具备泛化性和通用性,所以对新出现的事件效果不好。文章提出了EANN来解决这个问题。
EANN包括三个部分,多模态特征提取器,虚假新闻检测和事件检测。多模态提取视觉和文本信息,主要是事件检测器去除多模态特征中与事件有关的特征,让虚假新闻检测使用分享的特征。
数据集从微博和推特收集。
Introduction
虚假新闻的坏处和检测的必要性。再次重述现在的模型提取特征的局限性。
首先做的是identify the event-specific features.转化成衡量不同的事件提取的特征之间的差别。(用L2距离可能不太适合,并且学习过程中提取特征在变化)
使用事件检测来衡量差别,loss越大,差别越小。特征提取需要让检测器很难检测出来是哪个类型的事件(对抗的思想)
Related work
rumor detection 谣言检测 spam detection 垃圾邮件检测
单模态检测:统计和语义特征。文本RNN,视觉特征还有一些社交特征比如follower数量,tag和转发。这个噪音比较多,并且对于新出现的事件没有什么作用。
多模态检测:
Adversarial network
对抗网络思想用于半监督学习等等领域,还可以建模为Minimax游戏。特征提取器的任务就是fool 检测器。
Model
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jqHc0kjI-1616220897143)(D:\study\论文\multimodal\EANN\1.png)]
TextCNN。使用了预训练的词向量。使用了不同窗口和多个卷积核。
VGG19。
Fake News Detector:两层全连接网络。使用交叉熵损失(普通分类)
Event Discriminator: 一个k分类神经网络。
Model Intergration
L f i n a l ( θ f , θ d , θ e ) = L d ( θ f , θ d ) − λ L e ( θ f , θ e ) L_{final}(\theta_f,\theta_d,\theta_e) = L_d(\theta_f,\theta_d) - \lambda L_e(\theta_f,\theta_e) Lfinal(θf,θd,θe)=Ld(θf,θd)−λLe(θf,θe)
Ld是fake new分类误差,越小越好,Le是事件检测误差,越大越好。lambda是超参数。文章设置为1。
(
θ
f
−
,
θ
d
−
)
=
a
r
g
m
i
n
θ
d
,
θ
f
L
f
i
n
a
l
θ
e
−
=
a
r
g
m
a
x
θ
e
L
f
i
n
a
l
(\theta_f^-,\theta^-_d) = argmin_{\theta_d,\theta_f} L_{final} \\ \theta_e^- = argmax_{\theta_e} L_{final}
(θf−,θd−)=argminθd,θfLfinalθe−=argmaxθeLfinal
两个对立的优化函数。theta_f通过SGD优化。
Gradient reversal layer(GRL)在前向传播的时候类似恒等函数,反向传播的时候乘以- lambda传递梯度。
学习率延迟
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sCgGEEmZ-1616220897145)(D:\study\论文\multimodal\EANN\QQ截图20210129131937.png)]
主要的优化策略就是交替优化。
Experiments
Twitter dataset: MediaEval Verifying Multimedia Use benchmark 使用early stop策略
Weibo Dataset: 都是新闻,2012到2016的。
Baselines: TextCNN, VGG19(单模态) VQA,NeuralTalk,att-RNN(SOTA)
主要是quantitative analysis,对每个单模态的模型设计一个对抗模型,通过实验发现有对抗模型都提高了正确率。说明对抗模块是有效的。
Qualitative analysis :使用t-SHE降维表示两种类型的特征表示,可以看到有对抗模块更加分散,两种更加分明。
展示了几张多模态检测出来但是单模态失败的几张图片例子。
s :使用t-SHE降维表示两种类型的特征表示,可以看到有对抗模块更加分散,两种更加分明。
展示了几张多模态检测出来但是单模态失败的几张图片例子。
还分析了一下三种LOSS在训练和测试过程中的下降,来了解minimax过程。