论文粗读系列-9:Revisiting Deep Learning Models for Tabular Data

论文粗读系列-9

Revisiting Deep Learning Models for Tabular Data

1.简介

NIPS 2021

链接：[2106.11959] Revisiting Deep Learning Models for Tabular Data (arxiv.org)

代码：GitHub - yandex-research/rtdl-revisiting-models: (NeurIPS 2021) Revisiting Deep Learning Models for Tabular Data

现有的关于表格数据深度学习的文献提出了广泛的新架构，并在各种数据集上报告了有竞争力的结果。然而，所提出的模型通常没有适当地相互比较，并且现有的工作通常使用不同的基准和实验协议。因此，研究人员和实践者都不清楚哪种模型表现最好。此外，该领域仍然缺乏有效的基准，即在不同问题之间提供具有竞争力的性能的易于使用的模型。在这项工作中，作者对表格数据的深度学习架构的主要家族进行了概述，并通过识别两个简单而强大的深度架构来提高表格深度学习的基线标准。第一个是一个类似resnet的架构，它被证明是一个强大的基线，在以前的作品中经常缺失。第二个模型是作者对表格数据的Transformer体系结构的简单改编，它在大多数任务上优于其他解决方案。在相同的训练和调优协议下，将这两个模型与许多现有的体系结构进行比较。作者还比较了最好的深度学习模型和梯度提升决策树，并得出结论，仍然没有普遍更好的解决方案。

作者用ResNet 作为新的领域baseline，并提出了一个FT-Transformer

2.方法

• FT-Transformer

简而言之，FT-Transformer将所有特征(分类和数值)转换为嵌入，并将Transformer层堆栈应用于嵌入。因此，每个Transformer层都在一个对象的特征级别上操作

首先，特征标记器将特征转换为嵌入。然后，Transformer模块对嵌入进行处理，并使用[CLS]token的最终表示形式进行预测。

可以看到，FT的嵌入方式基本是线性嵌入，对分类标签也是取他们的one-hot编码

后续也仅是使用Transformer作为网络

3.狗头保命

以上观点均为本人对于原文的粗鄙理解，仅作为个人学习笔记，如有错误烦请指正，如有侵权请联系我删除。

不摆了，加训！