第一课第四周：深层神经网络

最新推荐文章于 2024-10-02 22:13:55 发布

老干妈拌士力架

最新推荐文章于 2024-10-02 22:13:55 发布

阅读量128

点赞数

分类专栏：深度学习文章标签：神经网络机器学习 python

本文链接：https://blog.csdn.net/qq_44428997/article/details/126061819

版权

深度学习专栏收录该内容

11 篇文章 13 订阅

订阅专栏

本文深入探讨深层神经网络的结构与工作原理，包括前向传播、反向传播的过程，解释为何深层网络能有效解决问题。深度网络通过多层特征探测器捕获图像的边缘和更高层次特征，用于人脸识别等任务。同时，文章还介绍了超参数的概念及其对模型训练的影响，并引导读者进行课后编程实践。

摘要由CSDN通过智能技术生成

一、深层神经网络

复习一下前三周的课的内容
逻辑回归（无隐藏层，参数可初始化为0），结构如左图。一个隐藏层的神经网络（参数不可初始化为0），结构如右图。
在这里插入图片描述
有一个隐藏层的神经网络，就是一个两层神经网络。记住当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。所以严格上来说逻辑回归也是一个一层的神经网络。

二、前向传播和反向传播

三、深层网络中的前向传播

四、核对矩阵的维数

五、为什么使用深层表示

我们都知道深度神经网络能够解决好多问题，其实并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层，这是为什么呢？
首先，深度网络在计算什么？
在这里插入图片描述
如果你在建立一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当你输入一张脸的照片，然后你可以把深度神经网络的第一层，当成一个特征探测器或者边缘探测器。
在这个例子中，我会建一个大概有20个隐藏单元的深度神经网络。隐藏单元就是这些图里这些小方块。举个例子，这个小方块（第一行第一列）就是一个隐藏单元，他会去找这张图片里“|”边缘的方向。那么这个隐藏单元（第四行第四列），可能是在找“-”水平方向的边缘在哪里。你可以把照片里组成边缘的像素放在一起，然后它可以把被探测到的边缘组合成面部的不同部分（第二张大图）。比如说，可能有一个神经元会去找眼睛的部分，另外还有别的在找鼻子的部分，然后把这许多的边缘结合在一起，就可以开始检测人脸的不同部分。最后再把这些部分放在一起，比如鼻子眼睛嘴巴，就可以识别或是探测不同的人脸。

六、搭建神经网络块

在这里插入图片描述

七、参数VS超参数

什么是超参数？
比如learning rate a（学习率）、iteration（梯度下降法循环的数量）、L（隐藏层数目）、n[l]（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你来设置，这些数字实际上控制了最后的参数W和b的值，所以它们被称作超参数。