【论文泛读】Beyond Accuracy:Behavioral Testing of NLP Models with Checklist

论文翻译
论文作者讲解
解决问题
现有评价标准过高的评估模型效果（现有标准一般是accuracy或者 F1 这种标准度量）
解决对策
由软件测试方法得来灵感
建立 CheckList 流程框架：

1. 测试一些独立的最小单元组件（例如，区分词性、近反义词、语义角色等）
2. 进行黑盒测试（只看输入输出）
3. 三种测试类型：
   最小功能测试（不再一味追求输出文本的复杂性，而是用多个简单句，测试不同的判别能力）
   不变性测试（对数据做小的变化看输出结果是不是可以保持不变）
   定向期望测试（当在正面句子中添加负面信息的时候期待模型可以发生变化）
4. 对测试实例的敏感性
   测试用例生成工具包，设置自己的用例

创新点：
揭示了很多现有模型的缺陷。其中很多问题，是过去人们极少关注的，比如时序、对命名实体的敏感程度等。研究模型是否能理解时效、简单的否定等等问题时，商用模型都表现出明显的失败率。