人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了深度学习是很有效的,但是仍有其局限性.而我们了解历史,会让我们有更多的思考和启发.
一:起源
“思维的本质”是人类一直思考的本源问题之一,研究,模仿人类大脑和神经网络的工作机制,并且使用机器去实现人类的工作,使机器获得人具有人一般的思考能力和思维能力以及抽象能力,因为机器是永不疲倦的,和具有比人类更快的运转速度,并且更适合大量的复制.
神经网络的研究可以追溯到19世纪的末期,美国的心理学家William James在其著作<心理学原理>,首次详绅论述人脑结构不功能,对学习,联想记忆相关基本原理作了开创性研究,此为启蒙时期。(在之后我们读一些深度学习论文的时候,会发现一个很有意思的事情,之前我们读机器学习论文,引用资料都会发现是很多的数学方面的书籍,而读深度学习书籍的时候,我们会发现这里的引用材料多是和一些神经科学和生物学的相关资料).
William James这个人也很有意思,因为他是学心理学的,经常会提出一些比较符合人们心理的理论,自然而然也就提出了很多的心灵鸡汤(当时自然也没这么多说法),我这里列出几句:
1:播下一个行动,收获一种习惯;播下一种习惯,收获一种性格;播下一种性格,收获一种命运。
2:人类本质中最殷切的需求是渴望被肯定。
3:人的难题不在于他想采取何种行劢,而在不他想成为何种人。
4:我这一代人最大的发现是人类可以通过改变态度来改变生活。
5:邪不压正,正不压疯.(我认为最有意思的一句)
二:发展
1:M-P模型
1943年,精神病学家和神经元解剖学家McCulloch和数学天才Pitts在生物物理学期刊发表文章提出神经元的数学描述和结构。M-P模型也就是两者名字的缩写.
他们提出神经元遵循”全或无”的准则,现在也就是我们常说的”0-1”准则,而总结的M-P模型主要证明了只要有足够的简单神经元,在这些神经元相互连接并同步运行的情况下,可以模拟任何计算函数.现在这个理论在现在看来是如此的简陋,但是在当时却是突破性的进展,而他们的开创性工作也被认为是人工神经网络的起点.
2:Hebb学习准则
1949年,生理学家Hebb出版了《行为组织学》。描述了神经元权值的Hebb调整规则。
他做过一个很有意思的实验,用来测试老鼠智力的赫布-威廉姆斯迷宫(HebbWilliamsmaze),并证明了“老鼠幼年时期的经历对其成年后解决问题的能力有持久性的影响”.
在<行为组织学>中Hebb首次提出了”连接主义”,引入了”学习假说”,也就是我们高中学习生物中,为什么会产生记忆?因为外界的信号不断刺激,导致神经元与神经元之间相互重复激活,将使其连接权值加强,最终形成新的网络,长成突触,产生记忆.而这项理论在神经心理学领域有着重要的贡献,其也被认为是神经心理学和神经网络之父.而其的理论成为学习系统和自适应系统的灵感源泉。
3:Rosenblatt感知器
1957年,Rosenblatt(也是个心理学家)提出感知器的概念,首次提出了感知器的收敛定理,这个定理很伟大,以至于现在我们现在常用的”权向量”,”偏执因子”,”激活函数”都是他们提出的,而后续Widrow和Hoff引入了最小均方误差准则(LMS).
整个60年代,感知器是如此流行,人们认为它可以完成任何事情,只要很多感知器连在一起,就可以完成大脑的工作,但是这个理论实际是非常错误的,在之后我们学习单层感知机的时候就会学到.
当时的论文:
三:低潮
1:Minsky的打击
Minsky这个人在当时是很厉害的,类似于现在hinton的角色,当时他是MIT人工智能实验室联合创始人,人工智能之父。美国科学院和美国工程院院士。
1969年,Minsky和Papert出版《感知器》。指出:单层感知器存在致命缺陷,简单的
神经网络只能运用于线性问题的求解,连亦或这样的问题都难以解决。求解非线性问
题的网络应具有隐层,但理论上还不能证明感知器扩展到多层是有意义的。单层感知
器的局限性在多层情况下也不能被完全解决.
由于Minsky在业界的地位,这些悲观观点极大影响了人工神经网络研究,经费萎缩,大量研究人员流失,启蒙时期结束,此后陷入10年低潮时期。
2:低潮时期的暗流涌动
在低潮时期,仍有一些执着的科学家进行研究,并且也做出了一些成果,也许就是对科学的执着吧,才让这些的科学家的坚持.
一些杰出的成果:
Kohonen提出SOM(自组织映射),自组织网络
Grossberg夫妇提出自适应共振理论,提出三个ART系统
福岛邦彦的“新认知机”
四:复兴时期
在60年代末遭受的质疑均在80年代被攻克.
1982年,美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网络模型(http://alex-wbf.blog.sohu.com/131663695.html)
1986年,Rumelhart, Hinton, Williams发表了著名的文章,阐述了著名的BP算法(多层感知器的误差反向传播算法).Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》,迄今为止,BP算法已经在很多领域解决了大量实际问题.
这里介绍一个重要的人物:Geoffrey Hinton
http://www.cs.toronto.edu/~hinton/, 这个网页里介绍了Hinton,如果现在你在学习深度学习,没有听说过Hinton,说实在的等于白学了.
而这时候人们又产生了思考,能不能产生更多层的神经网络?
因为学习信号越来越弱,三层BP神经网络的学习算法能推广到更多层吗?
在实际应用中,求解的问题通常不是凸的,意味着有多个极值点,由于梯度下降法的弱点导致容易陷入局部极值点,只有w权值取得相当接近理想值时,才能得到较好的结果.并且浅层神经网绚无法模拟人类复杂的行为.
而实际需求中,我们在文本分析,自然语言处理,图像识别等领域需要能深层次学习的神经网络.
五:深度学习的突破
1:Hinton的革命性突破
2:深度学习的发展
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐
层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深
层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用
空间相对关系减少参数数目以提高训练性能。
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学
习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是
无监督学习的一种。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习
结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现
数据的分布式特征表示.
3:深度学习引发人工智能革命
深度学习正在引发一场深刻的技术革命,这是人类首次如此接近思维的本质。像手写体识别,脸像识别分类系统,过去的思路是从业务背景中线提取特征,然后产生若干辨识逻辑,再形成算法编程实现,但对于像imagenet那样要对上百万的图片,上千个分类识别的问题,以往的技术就傻眼了,别说逻辑,连特征的提取都因为过于复杂而没办法进行。现在流行的深度学习网络的方法,把逻辑隐藏在成百上千万的神经网络权值里,让特征被自动识别不提取,却能得出让人吃惊的高准确率。给出通用的框架,通过大量学习数据训练出合适的权值,权值就是逻辑,这是未来的方向,那种先设计算法敲代码的日子该一去不复返,以后甚至程序员的工作都由机器全部完成也不是没有可能。
引用资料:
1:维基百科William James介绍https://en.wikipedia.org/wiki/William_James
2:M-P神经元介绍http://www.mind.ilstu.edu/curriculum/modOverview.php?modGUI=212
3:Minsky的著作:
作者:云时之间
链接:https://www.jianshu.com/p/5486e64ee2f3
來源:简书