SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)

A study on the Interpretability of Neural Retrieval Models using DeepSHAP

Zeon Trevor Fernando, Jaspreet Singh, Avishek Anand

L3S Research Center

http://delivery.acm.org/10.1145/3340000/3331312/p1005-fernando.pdf

https://arxiv.org/pdf/1907.06484.pdf

在信息检索领域中，最近有一个趋势，即利用神经网络来学习检索模型，进而用于基于文本的即席搜索。虽然很多方法和结构都比传统的检索模型，如BM25，效果具有显著提升，但是，针对这些方法和结构，如何准确的理解某个检索词和某个文本为何相关仍然较难。

在机器学习领域中，目前学者们已经提出多种用来解释深度神经网络所做决策的方法，比如DeepSHAP，该方法对DeepLift进行了改造，进而用于估计特定决策中输入特征的相对重要性（沙普利值）。主要是通过对比特定图像中网络的激活函数和加入某个参考输入之后的激活函数。

在图像分类中，参考输入通常是纯黑白图像。DeepSHAP在图像分类任务中研究的比较完善，但是，如何对其进行某种处理进而能够比较好的解释神经检索模型(NRMs)的输出有待探索。

在信息检索中，什么才是比较好的"黑白"图像？这篇文章探索了多种参考输入文档构建方法。作者们将DeepSHAP的解释跟LIME( local interpretable model-agnostic explanations，一种模型不可知论方法)的解释作对比，发现二者的解释不同，这也是意料之中的。

LIME 相关论文及代码

“Why Should I Trust You?” Explaining the Predictions of Any Classifier

KDD 2016 

https://arxiv.org/pdf/1602.04938.pdf

https://github.com/marcotcr/lime

本文的研究引起了对NRMs所得解释的鲁棒性和准确性的关注。

在信息检索领域中，虽然一些基于深度学习的方法取得了很好的效果，但是其解释性不太好把握

作者们研究的方法基于沙普列值

主要有以下两种方法来解释模型