人工神经网络发展史

最新推荐文章于 2022-09-09 17:31:30 发布

仙人掌_lz

最新推荐文章于 2022-09-09 17:31:30 发布

阅读量2.8k

点赞数

分类专栏：人工智能

原文链接：https://blog.csdn.net/qq_30460949/article/details/100101983

版权

人工智能专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1943年，心理学家Warren McCulloch和数理逻辑学家Walter Pitts在合作的《A logical calculus of the ideas immanent in nervous activity》论文中提出并给出了人工神经网络的概念及人工神经元的数学模型，从而开创了人工神经网络研究的时代。1949年，心理学家唐纳德·赫布在《The Organization of Behavior》论文中描述了神经元学习法则。

进一步，美国神经学家Frank Rosenblatt提出可以模拟人类感知能力的机器，并称之为“感知机”。1957年，在Cornell航空实验室中，他成功在IBM704机上完成了感知机的仿真，并于1960年，实现了能够识别一些英文字母的基于感知机的神经计算机—Mark1。

第一代神经网络能够对简单的形状（如三角形、四边形）进行分类，人们逐渐认识到这种方法是使用机器实现类似于人类感觉、学习、记忆、识别的趋势。

但是，第一代神经网络的结构缺陷制约了其发展。感知机中特征提取层的参数有人手工调整，这违背了其“智能”的要求。另一方面，单层结构限制了它的学习能力，很多函数都超出了它的学习范畴。

1985年，Geoffrey Hinton使用多个隐藏层来代替感知机中原先的单个特征层，并使用BP算法（Back-propagation algorithm，proposed in 1969，practicable in 1974）来计算网络参数

1989年，Yann LeCun等人使用深度神经网络来识别信件中邮编的手写体字符。后来Lecun进一步运用CNN（卷积神经网络）完成了银行支票的手写体字符识别，识别正确率达到商用级别。尽管该算法取得巨大的成功，但是它在数据集上训练了大约三天。

网络结构上分为输入层、多个隐层层和输出层，在训练网络前随机初始化权重，通过BP算法调整网络参数。BP算法并不总能很好的运行。即使使用随机梯度下降，BP算法依旧很容易陷入局部最优解。并且随着网络层数的增加，训练的难度越来越大。

第二代神经网络主要有以下缺点：

1.必须要对有标注的数据进行训练，无法对无标注数据进行训练

2.随着层数的增加，BP传回的信号会越来越弱，以至限制了网络的层数

3.在多个隐藏层之间来回传播导致训练过慢

4.其可能导致网络陷入局部最优解

5.有许多参数需要人类凭借经验和技巧进行手工设定，如网络层数、结点单元数等超参数，这些参数不能智能选取也制约了神经网络的发展。

而后人们尝试增加数据集、预估初始化权值的方法，以克服人工神经网络的缺陷。然而，SVM的出现使得人工神经网络的研究陷入寒冬。

SVM（Support Vector Machines）的简单结构使得其训练速度很快并且比较容易实现。同时，由于SVM的简单结构，其善于应对简单特征而不善于应对复杂特征。使用SVM进行学习需要对特定问题的先验知识，然而很难找到一些通用的先验知识。同时SVM的特征并不是自己选取的，而是人手工提取的。

尽管SVM在某些领域表现的很好，由于浅层结构的致命缺陷，它并不是人工智能领域好的发展趋势。

1958，Davidhubel和Torsten Wiesel进行了瞳孔区域与大脑皮层神经元对应关系的研究，发现后脑皮层中存在方向选择性细胞，大脑皮层对原始信号做低级抽象，逐渐向高级抽象迭代。

进一步的科学研究表明，和人类的许多认知能力相关的大脑皮层并不显示地预处理感知信号，而是让它们通过一个复杂的模块层次结构，久而久之，就可以根据观察结果呈现的规律来表达它们。

总的来说，人的视觉系统的信息处理是分级的，从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。有就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象。这一生理学发现促成了计算机人工智能，在四十年后的突破性发展。

1995年前后，Bruno Olshausen和David Field同时用生理学和计算机手段研究视觉问题。他们提出稀疏编码算法，使用400张图像碎片进行迭代，遴选出最佳的碎片权重系数。令人惊奇的是，被选中的权重基本都是照片少不同物体的边缘线，这些线段形状相似，区别在于方向。Bruno Olshausen和David Field的研究结果与四十年前David和Torsten Wiesel的生理发现不谋而合。更进一步的研究表明，深度神经网络的信息处理是分级的，和人类一样是从低级边缘特征到高层抽象表示的复杂层级结构。

研究发现这种规律不仅存在于图像中，在声音中也存在。科学家们从未标注的声音中发现了20中基本声音结构，其余的声音可以由这20中基本结构组成。1997年，LSTM（一种特殊的RNN）被提出并在自然语言理解方面具有良好效果。

2006年，Hinton提出了深度置信网络（DBN），一种深层网络模型。使用一种贪心无监督训练方法来解决问题并取得良好结果。DBN（Deep Belief Networks）的训练方法降低了学习隐藏层参数的难度。并且该算法的训练时间和网络的大小和深度近乎线性关系。

区别于传统的浅层学习，深度学习更加强调模型结构的深度，明确特征学习的重要性，通过逐层特征变换，将样本元空间特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

相较浅层模型，深度模型具有巨大的潜力。在有海量数据的情况下，很容易通过增大模型来达到更高的正确率。深度模型可以进行无监督的特征提取，直接处理未标注数据，学习结构化特征，因此深度学习也叫做Unsupervised Feature Learning。随着GPU、FPGA等器件被用于高性能计算、神经网络硬件的出现和分布式深度学习系统的出现，深度学习的训练时间被大幅缩短，使得人们可以通过单纯的增加使用器件的数量来提升学习的速度。深层网络模型的出现，使得世界上无数难题得以解决，深度学习已成为人工智能领域最热门的研究方向。