numpy反向神经网络学习mnist

最新推荐文章于 2022-11-05 16:29:46 发布

「已注销」

最新推荐文章于 2022-11-05 16:29:46 发布

阅读量184

点赞数

分类专栏：机器学习文章标签：神经网络深度学习机器学习前馈神经网络监督学习

本文链接：https://blog.csdn.net/Violeshnv/article/details/120389264

版权

本文介绍了如何构建反向神经网络，详细阐述了链式法则在神经网络中的应用，以及如何利用节点值偏导数求权重和偏置的偏导数。在MNIST数据集上进行实验，训练一小时后的准确率达到了训练数据94%，测试数据93%。

摘要由CSDN通过智能技术生成

用`numpy`实现最简单的前馈神经网络——反向网络建立篇

在前一篇文章中，已经初略的建立了前向神经网络，但是前向神经网络大量的前馈计算使其只有较低的速度，因此我们来建立反向神经网络。

本篇主要是公式

文章目录

用`numpy`实现最简单的前馈神经网络——反向网络建立篇

链式法则

在学习偏导数的反向传递之前，需要有对链式法则有一定的了解
$\text{provide that }y = y(x) \text{ and } z = z(y), \\ \text{then } z'(x) = \frac{ {\rm d} z}{ {\rm d}x} = \frac{ {\rm d}z}{ {\rm d}y} \frac{ {\rm d}y}{ {\rm d}x} = z'(y) \cdot y'(x).$

$\text{provide that }u = u(x,y),v = v(x,y),w = w(u,v), \\ \text{then } w'(x) = \frac{\partial w}{\partial u} \frac{\partial u}{\partial x} + \frac{\partial w}{\partial v} \frac{\partial v}{\partial x} = w'(u) \cdot u'(x) + w'(v) \cdot v'(x), \\ w'(y) = \frac{\partial w}{\partial u} \frac{\partial u}{\partial y} + \frac{\partial w}{\partial v} \frac{\partial v}{\partial y} = w'(u) \cdot u'(y) + w'(v) \cdot v'(y). \\$