应用案例
经典论文:
D.E.Rumelhart,G.E.Hinton,and R.J.Williams,“Learning representations by back-propagating erros,” Nature,vol.323,no.6088,pp.833-536,1986
反向传播Back Propagation是将损失函数的信息沿网络层向后传播用以计算梯度,达到优化网络参数的目的。反向传播是非常重要的算法。
可手算的神经网络示例
设输入样本自变量(0.35,0.9),应变量0.5,初始权重如图。
三个神经元计算公式为 f ( x ) = 1 1 + e − x , x f(x)=\frac{1}{1+e^{-x}},x f(x)=1+e−x1,x是输入的权重和。得到:
P ( A , B ) = 1 1 + e − ( A P ∗ A + B P ∗ B ) = 1 1 + e − ( 0.1 ∗ 0.35 + 0.9 ∗ 0.8 ) ; Q ( A , B ) = 0.6637 ; O ( P , Q ) = 0.69 ; ξ = 1 2 ( 0.69 − 0.5 ) 2 = 0.01805 P(A,B)=\frac{1}{1+e^{-(AP*A+BP*B)}}=\frac{1}{1+e^{-(0.1*0.35+0.9*0.8)}};Q(A,B)=0.6637;O(P,Q)=0.69;\xi=\frac{1}{2}(0.69-0.5)^2=0.01805 P(A,B)=1+e−(AP∗A+BP∗B)1=1+e−(0.1∗0.35+0.9∗0.8)1;Q(A,B)