关于DBN fine-tunes使用BP多于up-down算法的一点看法

首先用Hinton先生的三句话作为引子，个人觉得这三句话在为什么首先使用pre-train会使最终效果特别好的解释中有点提纲挈领的意思。

– The input vectors generally contain a lot more information than the labels.
– The precious information in the labels is only used for the final fine-tuning.
– The fine-tuning only modifies the features slightly to get the category boundaries right. It does not need to discover features.

好吧，其实写这篇博客的原因就是为了记一下上面三句话。关于为啥不使用UP-DOWN算法，我觉得是你作为一个生成模型，当然可以使用UP-DOWN，这个算法本意就是用来训练生成模型的。但是为什么现在的大多数toolbox都是将网络pre train之后使用BP算法去微调呢，个人觉得生成模型最终用起来也是要作判别的。所以还不如直接使用判别模型去做分类，当模型被当成判别模型的时候使用BP算法。而且Hinton先生也分别使用过这两种算法做了对比，分别是在deep learning开篇的那篇论文中和他发在science上的那篇论文。一个使用了UP-DOWN，一个使用了BP。事实上，使用判别模型的分类效果更好，而UP-DOWN略差。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------

个人理解，可能是漏洞百出或者根本就是错的。如果理解上有不对的地方，烦请指正。邮箱：heqingblind@sina.com