深度学习——第6章 浅层神经网络（NN）

第6章 浅层神经网络（NN）

目录

6.1 神经网络模型概述

6.2 神经网络正向传播

6.3 神经网络反向传播

6.4 W和b的初始化

6.5 总结

上一课主要介绍了一些神经网络必备的基础知识，包括Sigmoid激活函数、损失函数、梯度下降和计算图。这些知识对学习神经网络非常有用。本节将开始真正的神经网络学习，从一个浅层的神经网络出发，详细推导其正向传播和反向传播完整过程。

6.1 神经网络模型概述

首先，我们来看一个简单的神经网络模型：

最简单的神经网络模型由输入层（Input Layer）、隐藏层（Hidden Layer）、输出层（Output Layer）组成，我们称之为2层神经网络。隐藏层和输出层都由个数不一的神经元组成。如上图所示，输入层有3个输入：x1、x2、x3，分别代表不