周志华最新论文 | 深度森林：探索深度神经网络以外的方法

西瓜书《机器学习》作者、南京大学周志华日前发表论文，提出了一种基于树的方法，挑战深度学习。在设置可类比的情况下，新方法 gcForest 取得了和深度神经网络相当甚至更好的结果，而且更容易训练，小数据也能运行，更重要的是相比神经网络，基于树的方法不会存在那么困难的理论分析问题。周志华和冯霁在论文里写道，“我们认为，要解决复杂的问题，学习模型也需要往深了去。然而，当前的深度模型全部都是神经网络。这篇论文展示了如何构建深度树（deep forest），为在许多任务中使用深度神经网络之外的方法打开了一扇门”。
本文转自新智元，特此感谢。

深度神经网络的巨大成功掀起了一股深度学习热潮。

或许，这股热潮有些“太热”了。

就在这周，南京大学机器学习与数据挖掘研究所（LAMDA）负责人周志华教授将他和 LAMDA 博士生冯霁写的论文《深度森林：探索深度神经网络以外的方法》（Deep Forest: Towards An Alternative to Deep Neural Networks）上传到 arXiv。可以说，是用实际行动为这股热潮降了降温。

深度学习，或者说深度神经网络有一些明显的缺陷，除了我们都知道的必须要有大数据、大算力，他们在论文中写道，

“众所周知，表征学习（representation learning）能力对于深度神经网络至关重要。还应注意，为了利用大规模训练数据，学习模型的容量（capacity）应该很大；这一点非常好的说明了相比普通的学习模型，比如支持向量机，深度神经网络十分复杂的原因。

“我们推测，若能将这些属性赋予其他一些形式合适的学习模型，我们可以在抛开上述缺陷的情况下，实现和深度神经网络相当的性能。”

由此，周志华和冯霁提出了一种基于树的新方法——gcForest，用文中的术语说，就是“multi-Grained Cascade forest”，多粒度级联森林。此外，他们还提出了一种全新的决策树集成方法，使用级联结构让 gcForest 做表征学习。实验中，gcForest 使用相同的参数设置，在不同的域中都获得了优异的性能，并且无论是大规模还是小规模的数据，表现都很好。此外，由于是基于树的结构，gcForest 相比神经网络也更容易分析。

那么，作者是打算用 gcForest 取代深度学习？

答案是否定的。正如他们在论文中所说：

“我们认为，要解决复杂的问题，学习模型也需要往深了走。然而，当前的深度模型全部都是神经网络。这篇论文展示了如何构建深度树（deep forest），为在许多任务中使用深度神经网络之外的方法打开了一扇门。”

向着深度学习以外的方法进军