谷歌大脑「辛顿」团队最新研究：将神经网络提炼成「软决策树」

原文来源：arXiv

作者：Nicholas Frosst、 Geoffrey Hinton

「雷克世界」编译：嗯~阿童木呀

现如今，经实践证明，深度神经网络是执行分类任务的一种非常有效的方法。当输入数据是高维度，输入输出之间关系异常复杂，标注训练样本数量非常大的时候，深度神经网络的性能表现是非常好的。但是很难解释为什么学习网络在一个特定的测试用例做出特定的分类决策。这主要是由于它们对于分布式分层表示的依赖。如果我们能够充分利用从神经网络所获得的知识，并在一个依赖分层决策的模型中表达相同的知识，那么解释一个特定的决策将会容易得多。我们描述了一种使用已训练的神经网络创建一种软决策树的方法，该方法的泛化效果要比直接从训练数据中得以学习要好得多。

深度神经网络的优秀泛化能力取决于它们在隐藏层中分布式表示的使用，但这些表示难以理解。对于第一个隐藏层，我们可以理解是什