本文详细介绍了单隐层反向传播(BP)神经网络的权重更新过程，从符号定义到激活函数，再到误差计算和权重变化值的推导，最后得出隐藏层到输出层以及输入层到隐藏层的权重更新公式。
单隐层BP神经网络推导
标签：神经网络
今天重新提到了多隐层神经网络，虽然还是挺简单的，但是突然发现没有理解。遂决定整理一下上学期学习的单隐层神经网络，再看看和多隐层BP有什么区别。
符号定义
- 输入向量：n维向量X
- 隐层输出向量：m维向量Y
- 输出向量：l维向量O
- 期望输出向量：l维向量d
- 输入层和隐层间权重矩阵V
- 隐层和输出层间权重矩阵W
神经网络激活函数
定义 f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1为激活函数
其中输出向量的值为前一层输出向量的加权和 o k = f ( n e t k ) , n e t k = ∑ j = 0 m ( w j k ∗ y j ) , k = 1 , 2 , . . . , l o_k=f(net_k),net_k=\sum_{j=0}^{m}(w_{jk}*y_j),k=1,2,...,l ok=f(netk),netk=∑j=0m(wjk∗yj),k=1,2,...,l
隐层输出向量的值为输入向量的加权和 y j = f ( n e t j ) , n e t j = ∑ i = 0 n ( v i j ∗ x i ) , j = 1 , 2 , . . . , m y_j=f(net_j),net_j=\sum_{i=0}^{n}(v_{ij}*x_i),j=1,2,...,m yj=f(netj),netj=∑i=0n(vij∗xi),j=1,2,...,m
定义误差 E = 1 2 ( d − O ) 2 = 1 2 ∑ k = 1 l ( d k − O k ) 2 E=\frac{1}{2}(d-O)^2=\frac{1}{2}\sum_{k=1}^{l}(d_k-O_k)^2 E=2
最低0.47元/天 解锁文章
扫一扫
1785
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
