目录：
1.标准梯度下降
2.增量梯度下降
3.反向传播算法
神经网络以最小平方误差为评判准则。
1.标准梯度下降
最小平方误差定义：
E d = 1 2 ∑ ( t d − o d ) 2 E_{d}=\frac{1}{2}\sum \left ( t_{d} -o_{d}\right )^{2} Ed=21∑(td−od)2
其中$ t_{d} 为 目 标 输 出 ， 为目标输出， 为目标输出，o_{d}$为实际输出.
o d = w → ⋅ x → o_{d}=\overrightarrow{w}\cdot \overrightarrow{x} od=w⋅x
梯度方向是误差上升最快的方向，梯度的负方向则为误差下降最快的方向。
∂ E d ∂ w = ( ∂ E w 0 , ∂ E w 1 , ⋯ , ∂ E w n ) \frac{\partial E_{d}}{\partial w}=\left ( \frac{\partial E}{w_{0}} ,\frac{\partial E}{w_{1}},\cdots ,\frac{\partial E}{w_{n}} \right) ∂w∂Ed=(w0∂E,w1∂E,⋯,wn∂E)
Δ w = − η ∂ E ∂ w \Delta w=-\eta \frac{\partial E}{\partial w} Δw=−η∂w∂E, w = w + Δ w w=w+\Delta w w=w+Δw
对于每一个输入单元：
w i = w i + Δ w i w_{i}=w_{i}+\Delta w_{i} wi=wi+Δwi， Δ w i = − η ∂ E ∂ w i \Delta w_{i}=-\eta \frac{\partial E}{\partial w_{i}} Δwi=−η∂wi∂E。
∂ E ∂ w i = ∑ ( t d − o d ) ∂ ( t d − o d ) ∂ w = − ∑ ( t d − o d ) x i d \frac{\partial E}{\partial w_{i}}=\sum \left ( t_{d}-o_{d} \right )\frac{\partial \left (t_{d}-o_{d} \right )}{\partial w} \\=-\sum \left ( t_{d}-o_{d} \right )x_{id} ∂wi∂E
BP神经网络分类器
最新推荐文章于 2024-04-28 20:12:43 发布
目录：1.标准梯度下降2.增量梯度下降3.反向传播算法神经网络以最小平方误差为评判准则。1.标准梯度下降最小平方误差定义：Ed=12∑(td−od)2E_{d}=\frac{1}{2}\sum \left ( t_{d} -o_{d}\right )^{2}Ed=21∑(td−od)2其中$ t_{d}为目标输出，为目标输出，为目标输出，o_{d}$为实际输出.od=w→...
最低0.47元/天 解锁文章
741
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
