BP神经网络原理及在Matlab中的应用

一、人工神经网络

关于对神经网络的介绍和应用，请看如下文章

​ 神经网络潜讲

​ 如何简单形象又有趣地讲解神经网络是什么

二、人工神经网络分类

• 按照连接方式——前向神经网络、反馈(递归)神经网络

• 按照学习方式——有导师学习神经网络、无导师学习神经网络

• 按照实现功能——拟合(回归)神经网络、分类神经网络

三、BP神经网络概述

1. 特点

• BP神经网络中 BP 是指 BackPropagation (反向传播) ，指的是误差的反向传播 ，其信号是向前传播的 ， 从结构上分类 ，它是前向有导师学习神经网络 ，BP神经网络要求激活函数必须是可微分的函数。

2. 学习算法

(1) 传播阶段

​ 首先是信号传播

​ 其次是误差的反向传播

​ 将误差按照信号的反方向传播，结果的误差由权值设置不合理造成，这个步骤用来保证输出结果的正确性。

(2) 权值更新阶段

• 梯度下降法——利用梯度下降最快的方向进行权值修正

3. 举例

​ 图中是一个简单的神经网络，可以计算出

$$y_{1} = f_{1}(w_1x_1+w_3x_2)$$ , $y_2 = f_2(w_2x_1+w_4x_2+w_5x_3)$, y