WAautomaton的博客

原创 神经网络初探（BP 算法、手写数字识别）

神经网络的结构就不说了，网上一大堆…… 这次手写数字识别采用的是 sigmoid 激活函数和 MSE 损失函数。 虽然网上说这种方式比不上 softmax 激活函数和交叉熵损失函数，后者更适合用于分类，但是实测前者可以达到 97.4% 的准确率，后者本机只能达到 92% 的准确率（固定学习率不加任何优化）。 这里就记录一下计算梯度的方式。 对于最后一层，记 did_idi​ 表示点 iii 激活之前的值，vi=sigmoid(di)=11+e−div_i=\text{sigmoid}(d_i)=\frac{