Deep learning系列（十五）有监督和无监督训练

1. 前言

在学习深度学习的过程中，主要参考了四份资料：

• 台湾大学的机器学习技法公开课；
• Andrew NG的深度学习教程；
• Li feifei的CNN教程；
• caffe官网的教程；

对比过这几份资料，突然间产生一个困惑：台大和Andrew的教程中用了很大的篇幅介绍了无监督的自编码神经网络，但在Li feifei的教程和caffe的实现中几乎没有涉及。当时一直搞不清这种现象的原因，直到翻阅了深度学习的发展史之后，才稍微有了些眉目。

深度学习的发展大致分为这么几个时期：

• 萌芽期。从BP算法的发明（1970s-1980s）到2006年期间。
• 迅速发展期。从2006年栈式自编码器+BP微调提出之后。
• 爆发期。2012年Hilton团队的Alexnet模型在imagenet竞赛取得惊人成绩之后。

2. 萌芽期

在Yann LeCun、Yoshua Bengio和Geoffrey Hinton三巨头nature深度学习综述