神经网络与深度学习课程笔记（第三、四周）

最新推荐文章于 2024-01-17 14:51:55 发布

OliverLee456

最新推荐文章于 2024-01-17 14:51:55 发布

阅读量230

点赞数

分类专栏：深度学习笔记

本文链接：https://blog.csdn.net/OliverLee456/article/details/82703920

版权

深度学习笔记专栏收录该内容

6 篇文章 0 订阅

订阅专栏

接着学习吴恩达老师第三、四周的课程。（图片均来自吴恩达老师课件）

第三周

1. 普通的浅层网络

第0层（ $a^{[0]}$ ）第1层（ $a^{[1]}$ ）第二层（ $a^{[2]}$ ）

输入层隐藏层输出层

2. 浅层网络（单样本）

直观上理解，输入层有3个特征。隐藏层的4个节点实际上都在重复的计算sigmoid，因此每个节点可产生一个w（1*3）和b（1*1），隐藏层可产生W[1]（4*3），b[1]（4*1）,由sigmoid激活函数推出a[1]（4*1）。这相当于4个隐藏节点各自计算函数得到了4个值。但是W[2]和b[2]和a[2]不是很好理解其意义，我暂且理解为：原始输入特征为X，而在隐藏层设置4个节点，通过sigmoid激活函数将原始的3个特征映射为4个特征，因此在输出层W[2]的维度为1*4，最后再通过sigmoid得出预测值。其实总结来说，也就是隐藏层与输出层都使用sigmoid作为激活函数。

学习完这周视频，再回头看这一流程。隐藏层（输出层）所做的便是接收输入特征（上一层）的线性组合（权重向量w和偏置向量b）进行非线性函数的映射（激活函数）。

当扩展为多样本，又是向量化的过程，注意符号的写法。矩阵中每一列应代表一个样本，而每一行应代表某个指标（特征，节点等）。

3. 激活函数：令 a = g（z）（代表激活函数）

（1）sigmoid：除非作为二元分类（0,1）的输出层，否则选用tanh替代，因为其效果更好。

g‘（z） = a(1-a)

（2）双曲正切函数 tanh 值域（-1,1）

数学上看，即是将sigmoid函数向下平移经过原点，并使其值域拉伸到（-1,1），效果几乎总比sigmoid函数好，因为其有一个类似于中心化的功能（使均值在0，而sigmoid在0.5）

g’（z） = 1 – g（z）^2

（3）ReLU max（0，z）不知道用什么的时候，可以尝试，效果不错，注意在0的时候的斜率（自己定义）

（4）Leaky ReLU max（0.01z，z），0.01的值可以自己定义。修正了ReLU在负值时，斜率为0的问题，效果比ReLU好，但是不经常用。

4. 理解前向传播及后向传播

在推导后向传播时保证矩阵的维度匹配。

理解后向传播以及前向传播，在于理解传播二字。根据输入特征得到输出，前向传播的是一步步的计算过程。通过输出的反馈，后向传播的是更新的过程。

初始化神经网络的权重很重要，不要初始化为0，而是随机初始化。若初始化权重（w）都为0 ，会使隐藏层的节点做着相同的函数计算，使得隐藏层的计算没有意义。常常随机初始化权重为较小的值，例如numpy.random.rand()*0.01。其实设置初始化权值跟所用的激活函数有关。由于我们采用Sigmoid(或者tanh)，并且使用梯度下降法进行收敛，当初始化权值太大或者太小时，会使其收敛的速度较慢。

第四周

1. 符号太多了，注意符号的标记。

2. 前向传播的过程，最外层的for循环无法舍弃（即在每一层传播的过程）。

3. 深度网络中，清晰的认知到变量的维度很重要（w，b，z…），关键在于捕捉到网络的层数L，每层的节点数L[i]，以及输入样本的m和n（ $a^{[0]}$ ）。

4. 为什么要用深度网络表示？总结出了两方面原因：（1）以人脸识别为例，深度网络的每层是一个特征探测器（边缘检测），每个神经元可以理解为再找一个特征，之后再将这些神经元组合起来，便可以得出检测结果。也就是说随着神经网络的前向传播，逐渐由小特征汇聚成大特征（类似于金字塔结构）。（2）另一方面是，同一问题，若利用相对较浅的网络，那么需要的节点个数会指数级增长。

5. 前向与后向传播流程