- 博客(8)
- 收藏
- 关注
RSS订阅原创 吴恩达深度学习笔记优化算法续
六、学习率衰减（learning rate decay）学习率衰减：训练过程中逐渐减小 learning rate下图蓝色线表示训练中α固定的梯度下降，绿色线表示α逐渐减小的梯度下降：使用Mini-batch训练且learning rate 固定时，梯度下降到达最小值点附近后，因为不同batch存在一定的噪声，使得不会精确收敛，而是会在最小值点较大的范围内波动。但是如果我们使用学习率衰减，逐渐减小learning rate，开始的时学习速率还是比较快，随着迭代次数增多α逐渐减小，最终会在最小值
2022-01-28 20:19:20
131
原创 吴恩达深度学习笔记 优化算法
一、Mini-batch gradient descent(小批量梯度下降法)Mini-batch： 把整个训练数据集分成若干个小的训练集，即为Mini-batch。为什么要分？梯度下降法必须处理整个训练数据集，才能进行下一次迭代。当训练数据集很大时，对整个训练集进行一次处理，处理速度较慢。但是如果每次迭代只使用一部分训练数据进行梯度下降法，处理速度就会变慢。而处理的这些一小部分训练子集即称为Mini-batch。另一方面，每次迭代处理更少的数据，使所需的内存空间相应的减小。Mini-batch梯
2022-01-15 15:27:42
402
原创 吴恩达深度学习笔记 深度学习的实用层面
一、训练、验证、测试集样本数据分成以下三个部分：训练集(train set): 用于对模型进行训练。验证集(hold-out cross validation/development set): 对不同模型进行评估。测试集(test set): 对选取的模型进行无偏评估。node: 验证集要和训练集最好来自于同一个分布，可以使得机器学习算法变快。如果不需要用无偏估计来评估模型的性能，则可以不需要测试集。数据的量的分配：数据量较小时(小于10000)：70% / 30% 或 60% / 20%
2022-01-07 19:14:40
78
原创 吴恩达深度学习笔记（一）week5
4.4为什么使用深层表示首先，深度网络究竟在计算什么？如果在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当输入一张脸部的照片，然后可以把深度神经网络的第一层，当成一个特征探测器或者边缘探测器。在这个例子里，如果建一个大概有20个隐藏单元的深度神经网络，是怎么针对这张图计算的。隐藏单元就是这些图里这些小方块（第一张大图），举个例子，这个小方块（第一行第一列）就是一个隐藏单元，它会去找这张照片里“|”边缘的方向。那么这个隐藏单元（第四行第四列），可能是在找（“—”）水平向的边缘在哪里以先把神经
2021-10-08 23:30:19
97
原创 吴恩达深度学习笔记（一）week4 深层神经网络
深层神经网络1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边：神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，x 1 、 x 2 、 x 3 、严格上来说逻辑回归也是一个一层的神经网络，而上边右图一个深得多的模型，浅与深仅仅是指一种程度。有一个隐藏层的神经网络，就是一个两层神经网络。记住当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。上图是一个四层的神经网络，有三个隐藏层。我们可以看到，第一层（即左边数过去第二层，...
2021-09-24 20:05:28
112
原创 吴恩达深度学习课程学习笔记第四周
前向传播-单样本神经网络的输出第一层的传播过程如下：第二层的传播过程如下：对其向量化:x(3,1):3个特征，一个样本，为一个列向量：根据输入的行维度确定W的列维度，本层神经元的个数确定行维度(4，1):根据本层神经元个数的个数确定行维度，列维度始终为1的维度都为（4,1）是一个标量，也可理解为（1,1）输入层我们把输入矩阵X记为a[0]。通常我们只计算隐藏层输出和输出层的输出，输入层是不用计算的。故把输入层层数上标记为0，即a[0]，也因此把这种单隐藏层神..
2021-08-27 21:47:00
103
原创 吴恩达深度学习课程学习笔记第三周
2.7计算图：一个神经网络的计算，都是按照前向或反向传播过程组织的。我们需要计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。计算图解释了为什么我们用这种方式组织这些计算过程如下图计算函数 J ，J是由三个变量 a , b , c 组成的函数，这个函数是 3 ( a + b c ) 。计算这个函数实际上有三个不同的步骤，首先是计算 b 乘以 c ，我们把它储存在变量 u中，因此 u = b c u ； 然后计算 v = a + u v ；最后输出 J = 3 v ，这就是要计算...
2021-08-20 20:51:51
90
原创 吴恩达深度学习课程学习笔记第二周
2.1二分分类 在神经网络的计算中，通常先有一个叫做前向暂停(forward pause)或叫做前向传播(foward propagation)的步骤，接着有一个叫做反向暂停(backward pause) 或叫做反向传播(backward propagation)的步骤。我们用逻辑回归(logistic regression)来表示。逻辑回归是一个用于二分类(binary classification)的算法。我们从一个问题开始说起，这里有一个二分类问题的例子，假如有一张图片作为输入，比如...
2021-08-13 21:17:58
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人