【论文笔记】Deep Neural Decision Forests

文章链接：ICCV2015 DEEP NEURAL DECISION FORESTS(from 微软)
what does this paper bring as about

The main contribution of our work relates to enriching decision trees with the capability of representation learning, which requires a tree training approach departing from the prevailing greedy, local optimization procedures typically employed in the literature。
随机森林可以被用作深度学习网络最后一层的分类器，通过前面的系统输出data representation,然后用随机森林作为分类器进行分类。并且，文章提到，通过将传统随机森林的local optimize改造成通过back propagation进行global optimize,随机森林的参数训练可以与前端的深度学习网络进行无缝衔接。

1. 决策树、回归树、随机森林

决策树：大多是用来分类的。选择分类属性的标准是信息增益最大（Information gain），涉及到熵这个概念（The Shannon entropy）。公式如下，h(s)表示node s的熵，信息增益则是node s的熵减去它的左右子节点的熵。如果信息增益为正，则说明这是一个好的分裂split。