人工智能：神经网络概述

神经网络概述基础

神经网络（Neural Network，NN）或人工神经网络（Artificial Neural Network， ANN），是指用大量的简单计算单元（即神经元）构成的非线性系统，它在一定程度上模仿了人脑神经系统的信息处理、存储和检索功能，是对人脑神经网络的某种简化、抽象和模拟。
早在1943年，心理学家McCulloch和数学家Pitts就合作提出了神经元的数学模型M-P神经元模型，证明了单个神经元能执行逻辑功能，从此开创了神经科学理论研究的时代。1957年Rosenblatt提出了感知机模型，它由阈值性神经元组成，试图模拟动物和人脑的感知和学习能力。之后Minsky等仔细分析了以感知机为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知机不能解决基本的异或问题。他们的论点极大地影响了神经网络的研究，使人工神经网络的研究陷入了第一次低潮。
1982年Hofield提出了具有联想记忆功能的Hopfield神经网络，引入了能量函数的原理，给出了网络的稳定性判据，这一成果标志着神经网络的研究取得了突破性的进展。1985年Rumelhart等人提出BP网络的误差反向后传学习算法，它利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层地反传下去，就获得了所有其他各层的误差估计。1990年，Yann LeCun发表文章，采用BP神经网络实现对手写数字的识别，这可以被视作神经网络的“第一个”重大应用，直到上世纪九十年代末，超过10%的美国支票都采用该技术进行自动识别。
然而卷积要消耗大量计算资源，BP方法又会带来梯度弥散的问题，从而限制了