标题:特征归因方法的有效性及其与自动评估分数的相关性
时间:2021.5.31
作者:Giang Nguyen, Daeyoung Kim, Anh Nguyen
机构:KAIST,Auburn University
链接:https://arxiv.org/abs/2105.14944
简介:
在许多现实世界的高风险应用程序中,可解释人工智能模型的决策变得越来越重要。数以百计的论文提出新的特征归因方法,以及在人们的工作中讨论或利用这些工具。然而,尽管人类是目标最终用户,但大多数归因方法仅根据代理自动评估指标进行评估。在本文中,我们对 320 个非专业用户和 11 个专家用户进行了第一次大规模用户研究,以阐明最先进的归因方法在帮助人类进行 ImageNet 分类、Stanford Dogs 细粒度分类方面的有效性。但当输入图像包含对抗性扰动时,我们发现,总的来说,特征归因并不比向人类展示最近的训练集示例更有效。在对狗进行细粒度分类的艰巨任务中,向人类展示归因图并没有帮助,与单独的人工智能相比,反而会损害人类人工智能团队的表现。重要的是,我们发现自动归因图评估措施与实际的人工 AI 团队表现的相关性很差。我们的发现鼓励社区在下游的人在环应用程序上严格测试他们的方法,并重新考虑现有的评估指标。
标题:基于脉冲神经网络的硅视网膜生物视觉注意力模式分类
时间:20201.5.31
作者:Amélie Gruel, Jean Martinet
机构:U