2019表格学习_NEURAL OBLIVIOUS DECISION ENSEMBLES FOR DEEP LEARNING ON TABULAR DATA

代码

链接: code

// An highlighted block
var foo = 'bar';

论文

链接: paper

3puss3

如果要是我来写这篇文章，我会如何组织这个结构？
问题是怎么提出的、如果是我来做这个事情的话该怎么办，我应该可以用什么方法来实现、
实验我应该这么做，能不能比他做得更好、我怎么做没有往前走的部分。
--脑补出它整个流程是什么样子的，似乎是自己在做实验，写论文一样。

第三遍之后，关上文章也能会回忆出很多细节的部分和整体流程，之后在基于它做研究时（可以详详细细的复述一遍）。

3.1 存在什么问题

// A code block
var foo = 'bar';

3.2 有什么方法解决问题

// A code block
var foo = 'bar';

1puss1

1.1标题title

用于表格数据深度学习的神经遗忘决策集合

1.2摘要abs

如今，深度神经网络 (DNN) 已成为视觉、NLP 和语音等广泛领域机器学习任务的主要工具。 与此同时，在异构表格数据的一个重要案例中，DNN 相对于浅层网络的优势仍然值得怀疑。 特别是，没有足够的证据表明深度学习机制允许构建优于梯度提升决策树（GBDT）的方法，而梯度提升决策树通常是表格问题的首选。 在本文中，我们介绍了神经不经意决策集成（NODE），这是一种新的深度学习架构，旨在处理任何表格数据。 简而言之，所提出的 NODE 架构概括了不经意决策树的集合，但受益于端到端基于梯度的优化和多层分层表示学习的强大功能。 通过在大量表格数据集上与领先的 GBDT 包进行广泛的实验比较，我们展示了所提出的 NODE 架构的优势，它在大多数任务上都优于竞争对手。 我们开源了 NODE 的 PyTorch 实现，并相信它将成为表格数据机器学习的通用框架。

1.3结论conclusion

在本文中，我们介绍了一种新的 DNN 架构，用于异构表格数据的深度学习。 该架构是可微分的深度 GBDT，通过反向传播进行端到端训练。 在广泛的实验中，我们通过默认和调整的超参数展示了我们的架构相对于现有竞争对手的优势。 一个有前途的研究方向是将 NODE 层合并到通过反向传播训练的复杂管道中。 例如，在多模态问题中，NODE 层可以用作合并表格数据的一种方式，因为 CNN 目前用于图像，或者 RNN 用于序列。

1.4研究背景intro

最近深度神经网络（DNN）的兴起为计算机视觉、自然语言处理、语音识别、强化学习等大量机器学习任务带来了实质性突破（Goodfellow et al., 2016）。 通过反向传播进行的基于梯度的优化（Rumelhart et al., 1985）和分层表示学习对于大幅提高机器学习解决这些问题的性能似乎至关重要。

虽然深度架构在这些领域的优越性是毋庸置疑的，但表格数据的机器学习仍然没有完全受益于 DNN 的强大功能。 也就是说，表格异构数据问题的最先进性能通常是通过“浅”模型实现的，例如梯度增强决策树（GBDT）（Friedman，2001；Chen & Guestrin，2016；Ke 等人，2016）。 ，2017；普罗霍伦科娃等人，2018）。 虽然机器学习社区认识到深度学习对表格数据的重要性，并且许多工作都解决了这个问题（Zhou & Feng, 2017; Yang et al., 2018; Miller et al., 2017; Lay et al., 2018; Feng 等人，2018；Ke 等人，2018），所提出的 DNN 方法并不总是明显优于最先进的浅层模型。 特别是，据我们所知，仍然没有一种通用的 DNN 方法被证明能够系统地优于领先的 GBDT 包（例如 XGBoost (Chen & Guestrin, 2016)）。 作为额外的证据，大量使用表格数据的 Kaggle ML 竞赛仍然由浅层 GBDT 方法获胜（Harasymiv，2015）。 总的来说，目前对于表格数据问题还没有占主导地位的深度学习解决方案，我们的目标是通过我们的论文缩小这一差距。

我们引入神经不经意决策集成 (NODE)，这是一种新的 DNN 架构，旨在处理表格问题。 NODE 架构部分受到最近的 CatBoost 包（Prokhorenkova 等人，2018）的启发，该包被证明可以在大量表格数据集上提供最先进的性能。 简而言之，CatBoost 对不经意的决策树（决策表）执行梯度提升（Kohavi，1994；Lou & Obukhov，2017），这使得推理非常高效，并且该方法非常能抵抗过度拟合。 从本质上讲，所提出的 NODE 架构概括了 CatBoost，使得分裂特征选择和决策树路由可微分。 因此，NODE 架构是完全可微分的，可以合并到现有 DL 包的任何计算图中，例如 TensorFlow 或 PyTorch。 此外，NODE 允许构建多层架构，类似于端到端训练的“深度”GBDT，这是以前从未提出过的。 除了使用不经意的决策表之外，另一个重要的设计选择是最近的 entmax 变换（Peters et al., 2019），它有效地在 NODE 架构内的决策树中执行“软”分裂特征选择。 正如以下各节所讨论的，这些设计选择对于获得最先进的性能至关重要。 在大量实验中，我们将所提出的方法与具有调整超参数的领先 GBDT 实现进行了比较&#x