CNN卷积神经网络---反向传播（1，全链接bp算法）

最新推荐文章于 2024-06-23 08:25:22 发布

置顶

xqp_dream

最新推荐文章于 2024-06-23 08:25:22 发布

阅读量1.7w

点赞数 3

分类专栏： deep learning 文章标签： deeplearning

本文链接：https://blog.csdn.net/ck1798333105/article/details/52367791

版权

全链接bp算法

这里作为自己对卷积神经网络反向传播算法的理解。首先还是从经典的全链接bp算法开始。

1、前向传播

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络： File:Network331.png

我们使用圆圈来表示神经网络的输入，标上“ $\textstyle +1$ ”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右的一层叫做输出层（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元及一个输出单元。

这里我们将激活函数 $\textstyle f(\cdot)$ 扩展为用向量（分量的形式）来表示，即 $\textstyle f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)]$ ，那么，上面的等式可以更简洁地表示为：

$\begin{align}z^{(2)} &= W^{(1)} x + b^{(1)} \\a^{(2)} &= f(z^{(2)}) \\z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \\h_{W,b}(x) &= a^{(3)} = f(z^{(3)})\end{align}$

我们将上面的计算步骤叫作前向传播。回想一下，之前我们用 $\textstyle a^{(1)} = x$ 表示输入层的激活值，那么给定第 $\textstyle l$ 层的激活值 $\textstyle a^{(l)}$ 后，第 $\textstyle l+1$ 层的激活值 $\textstyle a^{(l+1)}$ 就可以按照下面步骤计算得到：

$\begin{align}z^{(l+1)} &= W^{(l)} a^{(l)} + b^{(l)} \\a^{(l+1)} &= f(z^{(l+1)})\end{align}$

将参数矩阵化，使用矩阵－向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。

2/反向传播

假设我们有一个固定样本集 $\textstyle \{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}$ ，它包含 $\textstyle m$ 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 $\textstyle (x,y)$ ，其代价函数为：

$\begin{align}J(W,b; x,y) = \frac{1}{2} \left\| h_{W,b}(x) - y \right\|^2.\end{align}$

这是一个（二分之一的）方差代价函数。给定一个包含 $\textstyle m$ 个样例的数据集，我们可以定义整体代价函数为：

最低0.47元/天解锁文章

xqp_dream

关注

3
点赞
踩
29

收藏

觉得还不错? 一键收藏
0
评论
CNN卷积神经网络---反向传播（1，全链接bp算法）

全链接bp算法这里作为自己对卷积神经网络反向传播算法的理解。首先还是从经典的全链接bp算法开始。1、前向传播所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：我们使用圆圈来表示神经网络的输入，标上“”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最
复制链接

扫一扫

专栏目录