Adaptive Neural Trees学习笔记

Adaptive Neural Trees 论文地址

Abstract

NNs:在特定的网络结构下进行表示学习，DTs：以数据驱动的方式在预先定义的特征上学习层次结构。本文提出了两者的融合结构ANTs，将表示学习融入决策树的边、路由函数、叶节点。实验证明了在分类和回归数据集上的优异性能。ANTs主要受益于1、条件计算的轻量级推理和2、对任务有用的层次特征分离，3、设计了一种对不同数据集相适应的结构。

Introduction

NNs的特点是通过非线性变换的组合来学习数据的层次表示(hierarchical representation)，与其他机器学习模型相比，一定程度上减轻了对特征工程的需求。此外，NN还使用随机优化器(如随机梯度下降)进行训练，使训练能够扩展到大型数据集。因此，借助现代硬件，可以在大型数据集中训练多层NN，以前所未有的精确度解决目标检测、语音识别等众多问题。然而，它们的结构通常需要手动设计并且对每个任务和数据集都要进行修整。
DTs的特点是学习数据的层次聚簇。DT学习如何分割输入空间，以便在每个子集中，线性模型足以解释数据。与标准NNs相比，DTs的体系结构是基于训练数据优化的，在数据稀缺的情况下尤其有利。由于每个输入样本只使用树中的一个根到叶(root-to-leaf)的路径，因此DT是享有轻量级推理(lightweight inference)的。然而，在使用DT的成功应用中，往往需要手动设计好的数据特征。由于DT通常使用简单的路径函数，它在表达能力方面是具有局限性的。