vindicater的博客

什么样的网络层才能收敛？不同的损失函数分别收敛的条件是什么？上限的准确率又是多少？这些问题都会在本章完成解析。这个部分作者做了比较完整的实验进行说明，也会在这一博文之中叙述出来。那么在开始本章之前，作者先贴上上一个Part的传送门。阅读本文之前建议先阅读上一组文章。

本文是手写BP神经网络的第三篇文章，也是接续上一篇文章，细致地介绍如何完成BP神经网络这一程序。在上一篇文章之中，作者搭好了一个深度学习框架：如果读者朋友们将那几个具体的计算的函数当做一个实现功能的黑盒，那么在上一篇文章中已经清楚网络是怎么训练，推理，优化的。那么在这一文章之中，作者将把上一篇文章中的黑盒子打开，具体介绍运算部分的代码是什么样的。而这个部分主要就是“BP_foward_for_classification”类。

本文章中给出的部分虽然没有涉及到实际上的正向推理或者反向传播的具体计算方式，但是本文作者认为在重要性上不弱于下篇，也就是关于细节上如何实现正向传播和反向传播的操作介绍。因为对于初学者而言，这个范式，也就是怎么把一个程序的框架搭出来，其内在信息是相当丰富的，也是后续在各种实验中都会有用的一种技能。所以建议所有的读者仔细阅读搞懂背后的思想，内化于自身。同时敬请期待我的下篇文章。将上下两篇文章同时阅读理解之后，完成手写BP神经网络完成手写体识别将不再话下。

本文主要是从数学的角度推导反向传播的操作原理，通过具体的例子计算，给出了感知机的每层的具体梯度值，帮助读者理解感知机的最核心的关键步骤。