反向传播
目标:
快速理解反向传播并推导
分析:
2层神经网络如图1所示,包含一个隐层和输出层,手推反向传播,取一个神经元的传播过程进行推导。
动手之前:
假定某个样本在网络中的一个传播过程如图2所示,隐层激活函数使用sigmoid,输出层不使用非线性激活函数,优化目标是均方误差mse,即损失为:
目标:
快速理解反向传播并推导
分析:
2层神经网络如图1所示,包含一个隐层和输出层,手推反向传播,取一个神经元的传播过程进行推导。
动手之前:
假定某个样本在网络中的一个传播过程如图2所示,隐层激活函数使用sigmoid,输出层不使用非线性激活函数,优化目标是均方误差mse,即损失为: