最近在学习斯坦佛cs231深度学习的课程,做的一些笔记:
1957年Frank Rosenblatt发明了第一代感知器,首次实现所谓感知器算法;
1960 年Widrow和Hoff发明了Adaline/Madaline,首次尝试把线性层叠加整合为多层感知器网络;
1986年Rumelhart等人第一次提出了反向传递算法;
2006年Geoff.Hinton和Ruslan Salakhutdinov发表的一篇论文表明深度神经网络不仅可以训练可以高效训练,但还不是现在深度学习的样子,那是需要初始化即经过训练得到初始化权重;
2012年Geoff.Hinton实验室利用深度神经网路进行声学建模和语音识别,然后同年Geoff.Hinton和Alex Krizhevsky在同一实验室发表里程碑的论文,首次用卷积神经网络框架在ImageNet分类比赛上取得第一
参考资料:
本文图片来自CS231n: Convolutional Neural Networks for Visual Recognition(2017)