2017年年初,南京大学周志华老师上传了一篇名为:Deep Forest:Towards An Alternative to Deep Neural Networks的论文,一石激起千层浪,各大媒体纷纷讨论着,这似乎意味着机器学习的天色要变,实则不然,周志华老师通过微博解释道,此篇论文不过是为机器学习打开了另一扇窗,是另一种思维,而不是真的去替代深度神经网络(DNN)。
下面我就简单概括一下我对这篇论文的理解,如过存在问题希望看客帮楼主提出来,一起解决。
全篇论文重在介绍Deep Forest与Deep NN的比较,对于Deep Forest的结构解释比较简单,如果你是初学者,也许不太能够理解其中的Random Forest等。当然,为了体现出gcForest(Deep Forest的另一种说法,因为它的结构可以理解为:multi-Grained Cascade forest(多粒度级联森林))的优势,首先还是要说一下他的对比方法,DNN存在哪些不足之处。
DNN的不足之处:1、需要大量的数据集来训练;2、DNN的模型太复杂,导致它的运行环境更适合公司,个人的使用还是比较局限;3、DNN有着太多的超参数(hyper-parameters),学习性能太依赖与对它们的调节。
在gcForest中,作者沿用了DNN中的类似于表征学习等特性,摒弃了DNN中复杂的逻辑结构。
gcForest原理,这个结构是生成一个深度树集成方法,使用级联结构让gcForest做表征学习,当输入带有高维度时,通过多粒度扫描,其表征学习能力还能得到进一步的提升,而且这种方法还能让gcForest注意到上下文结构,重要是:级联的数量能自行调节,因此,即使在处理小数据量的时候效果依然是有可能不错的。相对于DNN而言,g