机器学习_神经网络_背景概述

神经网络背景概述

一：深度学习三次热潮（基础就是神经网络）

第一次热潮（20世纪50—60年代）

• 1950年图灵提出图灵测试。
• 1958年计算机科学家Rosenblatt提出了一种具有三层网络结构特性的神经网络结构，成为“感知器”。
• 1969年，人工智能的先驱Minsky出版了一本名为《感知器》的书，书中指出简单的神经网络只能运 用于线性问题的求解，能够求解非线性问题的网络 应具有隐层，而从理论上还不能证明将感知器扩展 到多层网络是有意义的。

第二次热潮(20世纪80-90年代)

• 语音识别是当时最具代表性的突破成果之一，语音识别领域最具代表性的人物就是李开复了。
• 1986年，Rumelhart，Hinton，Williams发展了BP算法。（多层感知器的误差反向传播算法）。
• 1987年6月，首届国际神经网络学术会议在美国加 州圣地亚哥召开，到会代表有1600余人。之后国 际神经网络学会和国际电气工程师与电子工程师学 会（IEEE）联合召开每年一次的国际学术会议。

第三次热潮(2006年至今)

• 2006年Hinton在《Science》杂志上的发表了一篇
  深度学习的论文。
• 2009年李飞飞创立ImageNet。
• 2016年AlphaGo战胜人类顶级围棋选手。

二：深度学习三巨头

• Geoffery Hinton（深度学习之父）
  英国出生的计算机学家和心理学家，以其在神经网络方面的贡献闻名。Hinton是反向传播算法的发明人之一，也是深度学习算法的积极推动者。
  
• Yann LeCun(卷积神经网络之父)
  计算机科学家，他最著名的工作是光学字符识别和计算机视觉上使用卷积神经网络（CNN），他也被称为卷积神经网络之父。
• Yoshua Bengio
  在预训练和自动编码器等方面做出过重大贡献；
  “我留在学术圈为全人类做贡献，而不是为某一个公司赚钱”