没有类层次结构的神经决策树

没有类层次结构的神经决策树

知识基础：

---

总体介绍

除了叶子的设计外，这些方法与有确定叶的神经决策树几乎没有差异。即它的叶节点是专家而不是偏执狂。如此微小的一个变化却极大地影响了模型的性能和可解释性。因为它们对网络结构施加了很少的约束，并在叶子处执行任意预测，这导致了决策树缺乏类层次结构的实现，以及每个节点被分配到了很模糊的任务。
由于这一类神经决策树除了叶子以外没有太特别的地方，我们选取了有表征学习和架构搜索的两个工作作为例子

案例一：Adaptive Neural Trees（ANT）

如图所示，这个工作通过贪婪地在“加深表征学习”、“分割输入空间”和“保持不变”之间选取表现最好的方法来逐渐确定结构。但与传统的决策树相似，它依赖于一个渐进的次优的方案来建设决策树，每个操作以贪婪的方式选择，使其容易出现局部最优。

案例二：Self-born Wiring for Neural Trees（SeBoW）

如图所示，这个工作提供的神经树是从一个大的搜索空间挖掘出来的，它只保留了在原始的搜索空间中具有影响力的路由器和其对应的学习者，并且删除了所有的接收者（这是一个新的概念，它表示上一层各节点学到的表征应该按照什么样的权重混合给下一层的某节点，这是不满足树的定义的，因为树里面每个孩子只允许接受一个父节点的输入，所以这个搜索空间也不是树）。这个方法也有一些缺点，例如，搜索阶段参数的数量太大，生长出来的这个神经树和搜索空间的操作模式不同，因为它删除了一些神经组件和网络连接，并且是从头训练，没有保留之前的权重。此外，生成的树结构总是退化为一个单分支网络，我们推测这是由于缺乏层次结构和特定于任务的明确节点造成的