【剑桥大学博士论文】值得信赖的机器学习：从算法透明性到决策支持

来源：专知
本文为论文介绍，建议阅读5分钟我们为特定决策环境开发了新颖的算法透明性方法，并通过人类主体实验与真实决策者一起测试这些方法。

开发值得决策者信任的机器学习模型对于在实践中使用这些模型至关重要。算法透明性工具，如可解释性和不确定性估计，能够向决策者展示模型的可信度。在本论文中，我们首先探讨了从业者在工业界如何使用可解释性。通过一项访谈研究，我们发现，尽管工程师们越来越多地使用可解释性方法来测试开发过程中的模型行为，但这些方法在外部利益相关者中采用的情况却有限。为此，我们为特定决策环境开发了新颖的算法透明性方法，并通过人类主体实验与真实决策者一起测试这些方法。

我们首先提出DIVINE，一种基于示例的解释方法，它不仅找到对模型参数有影响的训练点，而且这些点在输入空间中具有多样性。我们展示了我们的解释如何提高决策者模拟模型决策边界的能力。接下来，我们讨论反事实潜在不确定性解释（CLUE），这是一种特征重要性解释方法，识别出如果扰动输入特征，将会减少模型在给定输入上的不确定性。我们展示了决策者如何使用我们的解释来识别模型在未见输入上的不确定性。

尽管每种方法本身都是成功的，我们更感兴趣的是，了解在决策者利用某种形式的决策支持后，结果在何种环境下会有所改善，无论是算法透明性还是模型预测。我们提出了学习决策支持策略的问题，该策略针对给定的输入，选择为没有先验信息的决策者提供何种形式的支持。利用随机上下文多臂强盗问题的技术，我们引入THREAD，一种在线算法，用于个性化每个决策者的决策支持策略。我们与真实用户一起部署THREAD，展示了在线学习个性化策略的过程，并说明了在实践中学习决策支持策略的细微差别。

我们以个性化决策支持的前景作为本论文的结论，这种支持形式可以包括基于决策者需求的算法透明性。