↑ 点击上方【计算机视觉联盟】关注我们
M-P模型
1943年神经元解剖学家McCulloch和数学天才Pitts发表文章提出神经元的数学描述和结构
神经元遵循“全或无”原则
证明了只要足够的简单神经元,在相互连接并同步运行的情况下,可以模拟任何计算函数
开创工作被认为是人工神经网络的起点
Hebb学习规则
1949年,生理学家Hebb出版了《行为组织学》,描述了神经元权值的Hebb调整规则
提出“连接主义”
引入“学习假说”,两个神经元之间重复激活,连接权值加强
成为学习系统和自适应系统的灵感源泉
Rosenblatt感知器
1957年,Rosenblatt提出感知器概念。掀起了神经网络研究第一次热潮
提出感知器收敛定理
Widrow和Hoff引入最小均方误差准则(LMS)
整个60年代,人们任务只要很多感知器连接在一起,就可以完成大脑的工作
Minsky的打击
1969年,Minsky和Papert出版《感知器》。指出:单层感知器存在致命缺陷,简单的神经网络只能运用于线性问题的求解,连易或这样的问题都难以解决。求解非线性问题的网络应具有隐层,但理论上还不能证明感知器扩展到多层是有意义的。单层感知器的局限性在多层情况下也不能被完全解决。
Minsky是谁?MIT人工智能实验室联吅创始人,人工智能之父。美国科学院和美国工程院院士。他曾出任美国人工智能学会AAAI的第三任主席(1981-1982)。
1969年图灵奖
形成了10年的低潮,唉
复兴时期!
1982年,加州工学院物理学家JJ.Hopfield提出了Hopfield神经网络模型
1986年,Rumelhart, Hinton, Williams发展了BP算法(多层感知器的误差反向传播算法)
深度学习的突破
Hinton2006年的SCIENCE革命性突破。基于深度置信网络DBN提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,利用空间相对关系减少参数数目以提高训练性能。
Yann LeCun 是AI尤其是DL最知名的学者,他是Hinton的博士后,发明了CNN。
2016年AlphaGo
......
2018年无人驾驶....
声明:本文来源于【计算机视觉联盟】
热文荐读
亲身经历2019年校招8个大厂心得体会,纯干货分享(大疆、百度...)
重磅!图森王乃岩团队最新工作—TridentNet:处理目标检测中尺度变化新思路
GANs最新综述论文: 生成式对抗网络及其变种如何有用【附pdf下载】
史上最全!计算机科学领域顶会最佳论文大合集:微软研究院最多,清华排24
【资源下载】512页IBM沃森研究员Charu最新2018著作《神经网络与深度学习》(附下载链接)