一文带你领略人工神经网络激荡70年

↑ 点击上方【计算机视觉联盟】关注我们

M-P模型

• 1943年神经元解剖学家McCulloch和数学天才Pitts发表文章提出神经元的数学描述和结构

• 神经元遵循“全或无”原则

• 证明了只要足够的简单神经元，在相互连接并同步运行的情况下，可以模拟任何计算函数

• 开创工作被认为是人工神经网络的起点

                             
 

Hebb学习规则 

•  1949年，生理学家Hebb出版了《行为组织学》，描述了神经元权值的Hebb调整规则

• 提出“连接主义”

• 引入“学习假说”，两个神经元之间重复激活，连接权值加强

• 成为学习系统和自适应系统的灵感源泉

                                         

Rosenblatt感知器

• 1957年，Rosenblatt提出感知器概念。掀起了神经网络研究第一次热潮

• 提出感知器收敛定理

• Widrow和Hoff引入最小均方误差准则（LMS）

• 整个60年代，人们任务只要很多感知器连接在一起，就可以完成大脑的工作

                   
 

Minsky的打击 

•  1969年，Minsky和Papert出版《感知器》。指出：单层感知器存在致命缺陷，简单的神经网络只能运用于线性问题的求解，连易或这样的问题都难以解决。求解非线性问题的网络应具有隐层，但理论上还不能证明感知器扩展到多层是有意义的。单层感知器的局限性在多层情况下也不能被完全解决。

• Minsky是谁？MIT人工智能实验室联吅创始人，人工智能之父。美国科学院和美国工程院院士。他曾出任美国人工智能学会AAAI的第三任主席（1981-1982）。

• 1969年图灵奖

                        
 

 形成了10年的低潮，唉

复兴时期！

• 1982年，加州工学院物理学家JJ.Hopfield提出了Hopfield神经网络模型 

• 1986年，Rumelhart, Hinton, Williams发展了BP算法（多层感知器的误差反向传播算法）

                                                 

 

深度学习的突破

Hinton2006年的SCIENCE革命性突破。基于深度置信网络DBN提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。

此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，利用空间相对关系减少参数数目以提高训练性能。

Yann LeCun 是AI尤其是DL最知名的学者，他是Hinton的博士后，发明了CNN。

2016年AlphaGo

......

2018年无人驾驶....

声明：本文来源于【计算机视觉联盟】

热文荐读

2018年12月精选文章目录一览

亲身经历2019年校招8个大厂心得体会，纯干货分享（大疆、百度...）

重磅！图森王乃岩团队最新工作—TridentNet：处理目标检测中尺度变化新思路

GANs最新综述论文: 生成式对抗网络及其变种如何有用【附pdf下载】

算法岗百里挑一热爆了，全球AI大厂薪酬大起底

史上最全！计算机科学领域顶会最佳论文大合集：微软研究院最多，清华排24

MIT的周博磊博士如何解释深度学习模型（附PPT)

【资源下载】512页IBM沃森研究员Charu最新2018著作《神经网络与深度学习》（附下载链接）

人工智能相关领域的国际顶尖会议介绍