学习笔记-南方科大张宇：神经网络可解释性综述

学习笔记-青源 LIVE 第 1 期 | 南方科大张宇：神经网络可解释性综述

为什么要可解释性

• 视频中举了一个例子：
  不了解模型背后的逻辑，是个黑盒子，对于要求高可靠性的系统来说没有安全感。如：图像识别领域，由于数据采集的原因，某一类的图片里面都有水印，神经网络投机取巧学到了水印代表某个特定的类，最后预测还好，但本质上模型分类靠的是水印这么个特征，若预测的图片没有水印，或者其他类别的图片有水印，就判别不出来了。如果能发现这个逻辑是不可靠的，就能提前知道这个模型是不可靠的。
  

获取解释性的方法

• 我只大概明白了一种，就是只开启一些节点，其他节点关闭，可视化结果，尝试性观察这个节点聚焦在什么特征。