【机器学习】深度学习发展回顾

Ups and downs of Deep Learning

1958年 感知机（Perceptron：linear model）被提出
1958年 发现了感知机的局限性
1980s年 提出了多层感知机（Multi-layer perceptron）:与今天的深度神经网络没有太大差异
1986年 反向传播（Backpropagation）被提出：但隐藏层如果超过3层，结果就不会很好
1989年 是否一层的隐藏层就足够好了，为什么要进行深度
2006年 提出了受限玻尔兹曼机（RBM），使得Deep Learning再次火起来
2009年 利用GPU加速
2011年 被引入语音辨识中
2012年 赢得了 ImageNet大赛(AlexNet：8层（16.4%）)
2014年 ImageNet：VGG：19层（7.3%）、GoogleNet：22层（6.7%）
2015年 ImageNet：Residual Net：152层（3.57%）

Three Steps for Deep Learning

第一步：定义一个函数集（define a set of function）:Neural network
第二步：找一个损失函数(goodness of function):Loss function
第三步：找最优的函数(pick the best function):Optimizer(Gradient Descent)

参考资料 ：台大李宏毅教授机器学习课程