‼️博客为作者学习回顾知识点所用,并非商用,如有侵权,请联系作者删除‼️
目录
3.1神经网络概览 ![](https://i-blog.csdnimg.cn/blog_migrate/9ed1c6bbb110dd9e748ac06c3be402b2.png)
使用上标[1]来表示与这些节点相关的量,也就是所谓的层;之后,我们使用上标[2]来表示与这个节点有关的量,这是神经网络的另一层;上标(i)表示第i个训练样本;
在这个神经网络中, 我们要进行多次运算, 反复计算z和a,求得损失函数。
3.2神经网络的表现形式
上图所示为单隐藏层。
3.3计算神经网络的输出
第一步计算出z;第二步计算出a;我们看下面的图,对隐藏层的第一个节点进行计算:把第一个节点分成左右两半部分,进行两次运算。
接下来对第二个节点进行计算(上图),确保节点书写遵循了上述讨论的规则,公式书写的规范会大大提高代码运行效率。
把上述四个等式进行向量化 ,我们通过堆叠来定义,我们把那些激活值
到
堆叠起来,得到向量
,如红色部分所示;
当我们进行逻辑回归,去实现一个输出(预测一个结果)时,如上图左下角紫色公式所示,计算出两个式子的值;
当我们计算有一个隐藏层的神经网络时,通过右半部分四个运算去计算最终的输出,步骤:1.通过向量化运算,得出隐藏层 里这四个逻辑回归的输出【注:这四个输出是下一层
的输入】2.用
的四个输出作为
层的输入,继续计算;
3.4多样本向量化
通过把不同的训练实例按列堆叠在一个矩阵里面,实现多样本向量化。
for循环走过所有m个训练实例,我们定义矩阵X,是由训练实例按列堆叠组成的;拿来训练实例,把它们按列堆叠,是一个乘以
的矩阵,得到这个for循环的矢量化实现 ;我们从小写的
出发,把小写的
们按列堆叠得到了大写的
矩阵,我们对
做同样的操作,也对
做同样的操作。
3.5向量化实现的解释
实现前向传播,堆叠,一行向量化操作,可以让我们同时处理m个样本。
3.6激活函数
3.7为什么需要非线性激活函数
3.8激活函数的导数
3.9神经网络的梯度下降
3.10反向传播的直觉
3.11随机初始化
3.12Lan Good fellow访谈
(于 2022-10-17 18:29:21 首次发布)