为什么基于树的模型在表格数据任务中比深度学习更优？

论文 | Why do tree-based models still outperform deep learning on tabular data?

代码 | https://github.com/LeoGrin/tabular-benchmark

虽然深度学习在计算机视觉、自然语言处理等领域取得了显著的成果，但在处理表格数据任务方面，深度学习模型的表现并不如树模型。大多数从业人员和数据科学竞赛仍然倾向于使用树模型处理表格数据任务。本文通过研究回答了基于树模型（如随机森林）比深度学习表现更好的原因，以帮助我们了解为什么会出现这种情况，以及如何利用这些经验为我们的任务选择最适合的算法。

问 ：为什么在表格数据任务中基于树的模型优于深度学习？

原因1 ：神经网络偏向输出过于平滑的解

简单来说，神经网络很难创建最佳拟合函数，特别是对于非平滑函数或决策边界时，而随机森林在处理奇怪、不规则或锯齿状模式时表现更好。这可能是由于神经网络使用了梯度反向传播进行参数更新。梯度依赖于可微分的参数空间，而这些空间的定义是平滑的。而尖锐、断裂和随机的函数通常是不可微分的。

下图清楚地展示了基于树的方法（随机森林）和深度学习器之间的决策边界差异。可以看到，随机森林能够在x轴（对应日期特征）上学习到MLP无法学习到的不规则模式。