第二章浅层神经网络

最新推荐文章于 2023-04-14 11:35:10 发布

今天我要睡午觉

最新推荐文章于 2023-04-14 11:35:10 发布

阅读量346

点赞数

分类专栏： # 神经网络和深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/blzhizhuang/article/details/118551645

版权

目录

1 神经网络概述

2 神经网络的正向传播过程

1 单个样本的正向传播

2 m个样本的正向传播

4 神经网络的反向传播过程

1 神经网络的梯度下降公式

2 反向传播的推导过程

5 随机初始化

1 神经网络概述

在上一章的学习中我们了解了逻辑回归，实际上逻辑回归就是一个最简单的神经网络模型，这里我们将学习具有隐藏层的神经网络，具体而言就是我们在输入层和输入层中增加了一个隐藏层，从计算的角度而言，就是在逻辑回归的正向和反向传播过程中增加了一次重复的运算。

上图的正向传播过程分为两层，第一层是输入层到隐藏层，用右上角的[1]表示层数：

$z^{[1]}=W^{[1]}x+b^{[1]}$ $a^{[1]}=\sigma (z^{[1]})$

第二层是隐藏层到输出层：

$z^{[2]}=W^{[2]}a^{[1]}+b^{[2]}$ $a^{[2]}=\sigma (z^{[2]})$

类似于逻辑回归，我们需要通过反向传播计算参数，其流程如下所示

2 神经网络的正向传播过程

1 单个样本的正向传播

两层神经网络可以看作两次逻辑回归过程，为了简化运算，我们可以采用向量化的矩阵运算方法，将整个正向传播过程用矩阵运算的形式表达

在使用矩阵运算时，要特别注意的是维度的问题， $W^{[1]}$ 的维度(4,3),

最低0.47元/天解锁文章

今天我要睡午觉

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
第二章浅层神经网络

1 神经网络概述在上一章的学习中我们了解了逻辑回归，实际上逻辑回归就是一个最简单的神经网络模型，这里我们将学习具有隐藏层的神经网络，具体而言就是我们在输入层和输入层中增加了一个隐藏层，从计算的角度而言，就是在逻辑回归的正向和反向传播过程中增加了一次重复的运算。上图的正向传播过程分为两层，第一层是输入层到隐藏层，用右上角的[1]表示层数：第二层是隐藏层到输出层：类似于逻辑回归，我们需要通过反向传播计算参数，其流程如下所示2 神经网络的正向传播过程1 单个...
复制链接

扫一扫

专栏目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。