吴恩达深度学习笔记（一）week4 深层神经网络

最新推荐文章于 2024-05-29 13:27:18 发布

uponwyz

最新推荐文章于 2024-05-29 13:27:18 发布

阅读量122

点赞数

文章标签：神经网络

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/uponwyz/article/details/120461849

版权

深层神经网络

1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边：

神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，x 1 、 x 2 、 x 3 、

在这里插入图片描述

严格上来说逻辑回归也是一个一层的神经网络，而上边右图一个深得多的模型，浅与深仅仅是指一种程度。

有一个隐藏层的神经网络，就是一个两层神经网络。记住当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。

在这里插入图片描述

上图是一个四层的神经网络，有三个隐藏层。我们可以看到，第一层（即左边数过去第二层，因为输入层是第0层）有5个神经元数目，第二层5个，第三层3个。

我们用L表示层数，上图： L = 4 ，输入层的索引为“0”，第一个隐藏层 $n^{\left [ 1 \right ]}= 5$ 表示有5个隐藏神经元，而输入层 $n^{0}=n_{x}=3$

深层网络中的前向传播

对其中一个训练样本 x xx 如何应用前向传播，之后讨论向量化的版本。

第一层需要计算 $z^{\left [ 1 \right ]}=w^{\left [ 1 \right ]}x+b^{\left [ 1 \right ]}$ ， $a^{\left [ 1 \right ]}$ = $g^{\left [ 1 \right ]}\left ( z^{\left [ 1 \right ]} \right )$

往后每层变上标即可，通过迭代可得 $z^{\left [ l \right ]}=w^{\left [ l \right ]}a^{\left [ l-1 \right ]}+b^{\left [ l \right ]}$ $a^{\left [ l \right ]}=g^{\left [ l\left ( z^{\left [ l \right ]} \right ) \right ]}$

在这里插入图片描述

核对矩阵的维数

$w$ 的维度是（下一层的维数，前一层的维数） $w^{\left [ l \right ]}$ ：（ $n^{\left [ l \right ]}$ ， $n^{\left [ l-1 \right ]}$ ）

b的维度是（下一层的维数，1） $b^{\left [ l \right ]}$ ：（ $n^{\left [ l \right ]}$ ，1）

dw和w的维度相同，db和b维度相同

且 w 和 b 向量化维度不变，但 z , a 以及 x 的维度会向量化后发生变化。

在这里插入图片描述

向量化后： $Z ^{\left [ 1 \right ]}$ 可以看成由每一个单独的 $Z ^{\left [ 1 \right ]}$ 叠加而得到

m为训练集大小，所以 $z^{\left [ l \right ]}$ 的维度是（ $n^{\left [ l \right ]}$ ，m）

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。