在表格数据上，为什么基于树的模型仍然优于深度学习？

为什么基于树的机器学习方法，如 XGBoost 和随机森林在表格数据上优于深度学习？本文给出了这种现象背后的原因，他们选取了 45 个开放数据集，并定义了一个新基准，对基于树的模型和深度模型进行比较，总结出三点原因来解释这种现象。 

深度学习在图像、语言甚至音频等领域取得了巨大的进步。然而，在处理表格数据上，深度学习却表现一般。由于表格数据具有特征不均匀、样本量小、极值较大等特点，因此很难找到相应的不变量。

基于树的模型不可微，不能与深度学习模块联合训练，因此创建特定于表格的深度学习架构是一个非常活跃的研究领域。许多研究都声称可以击败或媲美基于树的模型，但他们的研究遭到很多质疑。

事实上，对表格数据的学习缺乏既定基准，这样一来研究人员在评估他们的方法时就有很多自由度。此外，与其他机器学习子域中的基准相比，大多数在线可用的表格数据集都很小，这使得评估更加困难。

为了缓解这些担忧，来自法国国家信息与自动化研究所、索邦大学等机构的研究者提出了一个表格数据基准，其能够评估最新的深度学习模型，并表明基于树的模型在中型表格数据集上仍然是 SOTA。

对于这一结论，文中给出了确凿的证据，在表格数据上，使用基于树的方法比深度学习（甚至是现代架构）更容易实现良好的预测，研究者并探明了其中的原因。

论文