liwenlong_only的博客

背景 反向传播(Backpropagation)是训练神经网络最通用的方法之一，网上有许多文章尝试解释反向传播是如何工作的，但是很少有包括真实数字的例子，这篇博文尝试通过离散的数据解释它是怎样工作的。 概述 对于这个教程，我们将使用2个输入神经元、2个隐含层神经元以及2个输出层神经元组成一个神经网络，另外，隐含层和输出层神经元各包含一个偏差。 这是基本结构： 目的让神经网络工作，我们对权重、偏差和训练的输入/输出设置一个初始值： 反向传播的目的是优化权重，以便于让神经网络学习怎样正确的把任意的输入映

均方误差(mean squared error) E=12∑k(yk−tk)2 E=\frac{1}{2} \sum_{k}\left(y_{k}-t_{k}\right)^{2} E=21​k∑​(yk​−tk​)2 def mean_squared_error(y, t): return 0.5 * np.sum((y-t)**2) 交叉熵误差(cross entropy error) E=−∑ktklog⁡yk E=-\sum_{k} t_{k} \log y_{k} E=−k∑​tk​l