Deep Learning
一、深度学习的发展史
- 1943年,神经科学家麦卡洛克**(W.S.McCilloch)** 和数学家皮兹(W.Pitts)在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。建立了神经网络和数学模型,称为MCP模型。
- 1958年,计算机科学家罗森布拉特( Rosenblatt)提出了两层神经元组成的神经网络,称之为**“感知器”(Perceptrons)**
- 1969年,美国数学家及人工智能先驱 Marvin Minsky 在其著作中证明了感知器本质上是一种线性模型(Linear model)
- 1986年,神经网络之父 Geoffrey Hinton 发明了适用于多层感知器(MLP)的BP(Backpropagation)算法,并采用Sigmoid进行非线性映射。
- 90年代时期,支持向量机算法诞生(SVM算法)等各种浅层机器学习模型被提出,SVM也是一种有监督的学习模型,应用于模式识别,分类以及回归分析等
- 发展期 2006年 - 2012年,2006年,加拿大多伦多大学教授、机器学习领域泰斗、神经网络之父—— Geoffrey Hinton 和他的学生 Ruslan Salakhutdinov 在顶尖学术刊物《科学》上发表了一篇文章,该文章提出了深层网络训练中梯度消失问题的解决方案:无监督预训练对权值进行初始化**+**有监督训练微调。
- 爆发期 2012 - 2017,2012年AlexNet参加ImageNet图像识别比赛,其通过构建的CNN网络一举夺得冠军,且碾压第二名(SVM方法)的分类性能,同时第一次用了GPU加速模型。2013、2014、2015、2016年,通过ImageNet图像识别比赛,DL的网络结构,训练方法,GPU硬件的不断进步,促使其在其他领域也在不断的征服战场。
注: sigmoid函数表达式如下:
图像如下:
二、深度学习的三个步骤
- Step1:神经网络(Neural network)
- Step2:模型评估(Goodness of function)
- Step3:选择最优函数(Pick best function)
类似于之前ML 的步骤,后续持续补充内容