干货！解释神经网络：使用信息瓶颈识别输入特征

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

张扬：

新加坡国立大学博士生。从事可解释性机器学习研究，以第一作者身份发表相关论文于NeurIPS，MICCAI等会议。曾在德国亚琛工业大学，慕尼黑工业大学，微软亚研院进行过研究实习。

解释黑盒神经网络的一种主要方法是特征归因（feature attribution），即识别输入特征对网络预测的重要性。最近有方法提出使用信息瓶颈（information bottleneck）模型来识别特征所包含的信息并以此衡量特征的重要性。之前的方法通常通过在神经网络内部插入信息瓶颈来识别对模型预测有意义的特征。我们提出了一种在输入空间中使用信息瓶颈并识别含有有效信息的输入特征的方法。该方法可生成比以往更加细化的模型解释，并且可以应用在任意模型架构上。

1

INTRODUCTION AND MOTIVATION

可解释性的重要性

即便今日的深度学习发展迅速，各种模型也比较成熟。但是神经网络依旧是一个黑盒模型，我们对其内部的结构仍然所知甚少。这样一种不可理解的特质，使得深度网络始终无法大规模部署到医疗、金融等对错误判断非常敏感的领域。神经网络不够可信的例子有很多，比较有代表性的是美国特斯拉所采用的自动驾驶系统，有过许多因识别错目标而导致的公路事故。下图即是特斯拉的视觉系统错误的将一辆翻倒的卡车识别为蓝天而导致事故。

以上种种，可见学界与工业界对可解释模型有需求。部署可解释模型可以帮助我们理解模型，使我们就能在部署和训练的过程中提早发现问题。也能够向监管机构更好的证明模型的行为使得模型可以通过监管部门的评估并部署到医院，保险，民生等领域。

通过可解释的模型打开“黑盒”有什么意义呢？

1. 在训练过程中指导模型朝着更好的方向去发展。

2. 让这个模型获得更好的回溯能力。

3. 实现更加安全、人性化且公平的AI模型。

下图展示了传统机器学习模型和解释模型共同应用在医疗领域上的表现。通过生成热力图，我们可以辅助医生去更好的理解模型的预测，以此减轻医生的工作量。