人工神经网络笔记（一）后向传播、随机最优化、设定超参数

人工神经网络笔记（一）后向传播、随机最优化、设定超参数

• Background propagation
• Stochastic optimization
• Hyper-parameter tuning

1、一个简单的神经网络

其中，$l(y,f(x:\theta )$ 代表损失函数，表示真实值和预测值之间的差距，模型参数 $\theta =[W^h,W^o,b^h,b^o]$ ;

该神经网络的目标是找到使得$l$最小的 $\theta$

后向传播（Background propagation）：利用链式法则计算梯度，再更新模型参数；

例，对于$w_1$

$\frac{\delta l}{\delta w_1}=\frac{\delta l}{\delta h_1}\frac{\delta h_1}{\delta w_1}=(\frac{\delta l}{\delta z_1}\frac{\delta z_1}{\delta h_1}+\frac{\delta l}{\delta z_2}\frac{\delta z_2}{\delta h_1})\ast (\frac{\delta h_1}{\delta u_1}\frac{\delta u_1}{\delta w_1})$

$w_1=w_1-lr\ast$