神经网络背景概述
一:深度学习三次热潮(基础就是神经网络)
第一次热潮(20世纪50—60年代)
- 1950年图灵提出图灵测试。
- 1958年计算机科学家Rosenblatt提出了一种具有三层网络结构特性的神经网络结构,成为“感知器”。
- 1969年,人工智能的先驱Minsky出版了一本名为《感知器》的书,书中指出简单的神经网络只能运 用于线性问题的求解,能够求解非线性问题的网络 应具有隐层,而从理论上还不能证明将感知器扩展 到多层网络是有意义的。
第二次热潮(20世纪80-90年代)
- 语音识别是当时最具代表性的突破成果之一,语音识别领域最具代表性的人物就是李开复了。
- 1986年,Rumelhart,Hinton,Williams发展了BP算法。(多层感知器的误差反向传播算法)。
- 1987年6月,首届国际神经网络学术会议在美国加 州圣地亚哥召开,到会代表有1600余人。之后国 际神经网络学会和国际电气工程师与电子工程师学 会(IEEE)联合召开每年一次的国际学术会议。
第三次热潮(2006年至今)
- 2006年Hinton在《Science》杂志上的发表了一篇
深度学习的论文。 - 2009年李飞飞创立ImageNet。
- 2016年AlphaGo战胜人类顶级围棋选手。
二:深度学习三巨头
- Geoffery Hinton(深度学习之父)
英国出生的计算机学家和心理学家,以其在神经网络方面的贡献闻名。Hinton是反向传播算法的发明人之一,也是深度学习算法的积极推动者。
- Yann LeCun(卷积神经网络之父)
计算机科学家,他最著名的工作是光学字符识别和计算机视觉上使用卷积神经网络(CNN),他也被称为卷积神经网络之父。 - Yoshua Bengio
在预训练和自动编码器等方面做出过重大贡献;
“我留在学术圈为全人类做贡献,而不是为某一个公司赚钱”