当神经网络的模型还不如决策树的效果好

20210524 -

0. 引言

有时候做实验，一般采用比较简单的分类算法来测试一下这个数据怎么样，比如决策树，随机森林，因为代表编码比较简单，直接sklearn几行代码就完事了。但是最终在测试神经网络的时候，经常性的发现，神经网络的效果还不如决策树好。

其实这个结论，我也不是非常惊讶，我就是有点好奇是为什么。现在各种论文里大肆鼓吹神经网络，深度学习，当然对于图像，语音等领域，神经网络提升的效果必然是非常好的。但是，有时候在有些领域，也有人为了发论文来使用神经网络，实际上他的效果用普通的机器学习算法也能达到这样的效果，而且训练时间还短。

但是，话说回来，那为什么会出现这种情况呢！？
带着这个疑问，我在谷歌上搜索了相关的关键词，只找到一篇最相关的，但是读完也没觉得他完全解决我的疑问。

1. 为什么有时候决策树比神经网络效果还好

从最开始学神经网络，各种论断就是，只要层数够多，神经网络可以模拟任何函数。

这句话，也不能说不对。现在遇到的实际问题就是说，有时候明显发现一个数据在神经网络上就是不如决策树。在谷歌搜了了相关文章之后，发现了文章[1]，文章题目非常贴合我的疑问。

（未完待续）

参考

[1]When and Why Tree-Based Models (Often) Outperform Neural Networks