BP神经网络
BP神经网络的特点:
- 网络由多层构成,层与层之间全连接,同一层之间无连接
- BP网络的传递函数必须可微(二值函数就不行,一般用Sigmoid或线性函数作为传递函数)
- 采用误差反向传播算法进行学习
反向传播算法推导(以三层BP网络为例)
在三层BP网络中,定义:
- 输入神经元个数为
M
M
- 隐含层神经元个数为
- 输出层神经元个数为
J
J
- 输入层第个神经元记为
xm
x
m
- 隐含层第
i
i
个神经元记为
- 输出层第
j
j
个神经元记为
- 从
xm
x
m
到
ki
k
i
的连接权值为
wmi
w
m
i
- 从
ki
k
i
到
yj
y
j
的连接权值记为
wij
w
i
j
- 隐含层传递函数为
Sigmoid
S
i
g
m
o
i
d
函数
- 输出层传递函数为线性函数
- 用
u
u
和分别表示每一层的输入输出(如
u1I
u
I
1
表示
I
I
层的第一个神经元的输入)
- 网络的实际输出
- 网络的期望输出
d(n)=[d1,d2,...,dn]
d
(
n
)
=
[
d
1
,
d
2
,
.
.
.
,
d
n
]
- 第
n
n
次迭代的误差信号
- 第
n
n
次迭代的误差能量定义为