单隐层BP神经网络推导

本文详细介绍了单隐层反向传播(BP)神经网络的权重更新过程,从符号定义到激活函数,再到误差计算和权重变化值的推导,最后得出隐藏层到输出层以及输入层到隐藏层的权重更新公式。
摘要由CSDN通过智能技术生成

单隐层BP神经网络推导

标签:神经网络

今天重新提到了多隐层神经网络,虽然还是挺简单的,但是突然发现没有理解。遂决定整理一下上学期学习的单隐层神经网络,再看看和多隐层BP有什么区别。

符号定义

  • 输入向量:n维向量X
  • 隐层输出向量:m维向量Y
  • 输出向量:l维向量O
  • 期望输出向量:l维向量d
  • 输入层和隐层间权重矩阵V
  • 隐层和输出层间权重矩阵W

神经网络激活函数

定义 f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+ex1为激活函数

其中输出向量的值为前一层输出向量的加权和 o k = f ( n e t k ) , n e t k = ∑ j = 0 m ( w j k ∗ y j ) , k = 1 , 2 , . . . , l o_k=f(net_k),net_k=\sum_{j=0}^{m}(w_{jk}*y_j),k=1,2,...,l ok=f(netk),netk=j=0m(wjkyj),k=1,2,...,l

隐层输出向量的值为输入向量的加权和 y j = f ( n e t j ) , n e t j = ∑ i = 0 n ( v i j ∗ x i ) , j = 1 , 2 , . . . , m y_j=f(net_j),net_j=\sum_{i=0}^{n}(v_{ij}*x_i),j=1,2,...,m yj=f(netj),netj=i=0n(vijxi),j=1,2,...,m

定义误差 E = 1 2 ( d − O ) 2 = 1 2 ∑ k = 1 l ( d k − O k ) 2 E=\frac{1}{2}(d-O)^2=\frac{1}{2}\sum_{k=1}^{l}(d_k-O_k)^2 E=2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值