神经网络的发展历史与深度学习

1.神经网络的发展历史
①提出与应用
1943年,模仿人类大脑的学习机理提出McCulloch-Pitts Neuron结构
1958年,提出感知机模型,第一个可以根据你杨丽数据学习特征权重的模型,解决神经网络权重需要人工设置的问题
②第一波研究低潮
原因: 感知机模型只能解决线性可分问题
           受当时计算能力限制,多层神经网络无法实现
③再次兴起
20世纪80年代,出现两种新的技术:
a) 分布式知识表达:大大加强了模型的表达能力,让神经网络从宽度的方向(神经元的个数)走向了深度(神经网络的层数)的方向
b) 神经网络反向传播算法:大大降低了训练神经网络的计算复杂度
④ 第二波研究低潮
原因:
a) 传统机器学习算法:高斯混合模型,SVM等有了突破性进展
b) 深层神经网络仍无法实现
⑤第三次兴起
背景:
a) 互联网热潮,使得海量训练数据的获取变得easy
b) 云计算,GPU等使得深层神经网络变得可能


2.深度学习应用
① 计算机视觉
a) 图像分类: ImageNet
b) 物体识别:谷歌搜图
c) OCR
② 语音识别
③ 自然语音处理
④ 人机博弈:AlphaGo 


3. 深度学习框架
① 谷歌:tensorflow
② 加州大学伯克利分校:Caffe
③ 百度: PaddlePaddle