论文笔记（5.12，文本抗击，sentence）--Probing Neural Network Comprehension of Natural Language Arguments

针对于ARCT数据集,对BERT的0.77准确率表示怀疑。
ARCT任务即给定论点（claim）、原因（reason）、论据（warrant），让模型判断该推理是否正确。
推理问题被实验证明，任何一个单一推理系统的准确率，理论上不应该超过0.60的准确率（很多推理需要前置知识，给定的信息不足以产生确信的推理）

实验1

为了知道BERT到底再ARCT任务集上学到了什么信息才能有这样的准确率，paper定义了两个衡量指标：Productivity和coverage

64%的数据集中只要在论据中包含‘not’,label就是True的，而模型也对61%包含‘not’论据的样本点标记为True.

实验二

为了说明是数据集本身的问题，分别在BERT以及其他DNN模型上跑了四组对照试验：

发现仅仅用warrant喂给BERT就可以得到0.712的巅峰准确率，这几乎和原来的数据集达到了一样的效果，说明BERT判断的依据大概率偏向于Warrant。另外，分别只采用（R,W）和只采用（C,W）达到的准确率和只用W相比提升不多，且这两者的提升比率之和刚好和原始数据准确率相等。能够感觉到确实是ARCT数据集内容上的分布不均衡导致BERT只是学到了输入（集中在warrant）的统计特征而已。

攻击样本

warrant带有否定信息的时候，论点大概率正确这一数据集上的统计规律误导了模型，因此采用如下方法生成攻击文本：
交换warrant、alternative warrat,同时将claim改为原先的否命题
这样做的意思是生成了和原先样本数量一致的对抗样本，这些对抗样本传递给模型的信息是：warrant带有否定信息的时候，论点大概率错误。再把这些样本和原先的样本组合生成攻击样本，保证数据集不再存在内容上的统计规律误导。

利用攻击样本再次验证模型：

BERT准确率下降到60%以下，且不再明显依赖于warrant，各种输入产生的效果差不多。说明攻击样本确实解决了原先样本在warrant上的统计规律。

相关工作

paper推荐一些先前利用ARCT数据集训练模型的工作重新审视模型的效果，利用paper的攻击样本确保模型学到了正确的信息。对于加了知识储备的模型表示不确定（More recently, Botschen et al. (2018) added FrameNet knowledge with modest performance gains）

self

任何工作都应该考虑到数据是否存在对于模型的误导（例如本paper的数据集存在的统计规律），以确保模型的鲁棒性和预期性。而且现在模型越来越大，学习能力也越来越强，如何避免模型学习数据集的虚假线索变得越来越重要。因此，好的攻击样本检验模型是很必要的。

---

paper里通过invert和否命题的方法生成对抗样本产生的效果非常理想（误导模型，却没有产生逻辑上的损失，没办法干扰人的判断），唯一缺点是否命题需要人工修改。