循环神经网络matlab程序设计,神经网络及深度学习(包含matlab代码).pdf

神经网络及深度学习(包含matlab代码)

神经网络及深度学习

(包含 MATLAB 仿真)

人工神经网络(Artificial Neural Network，即 ANN )， 作为对人脑最简单的一种抽象和

模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是 20 世纪 80 年代

以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对

人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。

人工神经网络最有吸引力的特点就是它的学习能力。因此从 20 世纪 40 年代人工神经

网络萌芽开始，历经两个高潮期及一个反思期至 1991 年后进入再认识与应用研究期， 涌现

出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网

络 BP 算法，Hopfield 网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价

值，该研究呈愈演愈烈的趋势，学者们在多领域中应用人工神经网络模型对问题进行研究优

化解决。

人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工

神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。

一、人工神经元及神经网络

1.1 人工神经元模型

仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的

仿生模拟，用来模拟人工神经网络。人们提出的神经元模型有很多，其中最早提出并且影响

较大的是 1943 年心理学家 McCulloch 和数学家 W. Pitts 在分析总结神经元基本特性的基础上

首先提出的 MP 模型。该模型经过不断改进后，形成现在广泛应用的 BP 神经元模型。人工

神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑

的基本特性。一般来说，作为人工神经元模型应具备三个要素：

(1) 具有一组突触或连接，常用 wij 表示神经元 i 和神经元 j 之间的连接强度。

(2) 具有反映生物神经元时空整合功能的输入信号累加器 ? 。

(3) 具有一个激励函数 f 用于限制神经元输出。激励函数将输出信号限制在一个允许

范围内。

一个典型的人工神经元模型如图 1-11-1 所示。

x1

wi1

x2

wi2

? f y

wij i

x j

wiN i

xN b

图 1-1 人工神经元模型

其中 x j 为神经元 i 的输入信号，wij 为连接权重，b 为外部刺激， f 为激励函数， yi 为

神经元的输出，其输出计算公式如(1.1)。

??N

yi?? f??? w ij x j b (1.2)

??j?1

1.2 人工神经网络模型

建立神经元模型后，将多个神经元进行连接