我说的DF21不是东风快递，而是最新的深度森林网络

深度森林算法，就冲这个名称DF21，这个算法必须火啊，因为我马上想到的是这个呀！

近十几年来，深层神经网络通过构建分层或「深层」结构，有显著进展。大部分被广泛应用的深度神经网络都使用具有随机梯度下降的反向传播作为训练过程中更新参数的主力。尽管老掉牙的反向传播一直是训练神经网络等可微分学习系统的最好方法。但其他方向探索使用非可微模块来构建多层或深度模型的可能性的需求一直被探索，且其在现实应用上也有很大的潜力。例如，基于树的集成（例如随机森林或梯度提升决策树（GBDT）仍然是多个领域中建模离散或表格数据的主要方式，为此在这类数据上使用树集成来获得分层分布式表征是个很有趣的研究方向。

在这样的案例中，由于不能使用链式法则来传播误差，反向传播不再可行。这引发了两个基本的问题：首先，我们是否可以用非可微组件构建多层模型，从而中间层的输出可以被当作分布式表征？其次，如果是这样，如何在没有反向传播的帮助下，联合地训练这种模型？本文的目的就在于提供这种尝试。

早在2017 年，周志华和冯霁等人提出了深度森林框架，这是首次尝试使用树集成来构建多层模型的工作。具体来说，通过引入细粒度的扫描和级联操作（cascading operation），该模型可以构建多层结构，该结构具备适应性模型复杂度，且能够在多种类型的任务上取得有竞争力的性能。