- 博客(10)
- 收藏
- 关注
RSS订阅原创 DeepLearning.AI Coursera公开课笔记（课程二第二周）神经网络优化
1.小批量（Mini batch）梯度下降。当待训练的样本数量比较多时（例如5000000个样本），之前所使用的梯度下降算法会一次性向量化所有样本，这样规模的向量将是非常巨大的，因此我们将样本分割成一个个小批量的数据集，例如每1000个样本作为一个样本集进行梯度下降训练。然后进行5000次循环，完成整个样本一轮训练。这种将大数据集按固定数量划分为众多小批量的数据集的方法便是小批量梯度下降算法。2.理解小批量梯度下降算法小批量梯度下降算法中，损失函数并不是严格地单调下降，而是在5000次循环计算.
2021-12-11 20:21:01
2012
原创 DeepLearning.AI Coursera公开课笔记（课程二第一周）神经网络优化
图1 神经网络开发流程在进行神经网络项目时，其过程不是一次写好代码就能成功的，而是要经过想法（Idea）->代码（Code）->实验（Experiment）的循环，当实验时发现效果不佳，再进行调整超参数经过多次迭代后才能做出最优的模型。图2 训练集、开发集、测试集其中训练集是用来训练模型的，而开发集是用来测试训练模型并用测试结果来调整模型的超参数来迭代优化模型的，而测试集是最终用来评判模型的效果的。如果没有开发集，其比例为7:3，存在开发集其..
2021-12-02 12:22:11
1522
原创 DeepLearning.AI Coursera公开课笔记（课程四第四周）CNN卷积神经网络
1.人脸识别1.1.什么是人脸识别？图1 人脸认证与人脸识别的区别人脸认证是待认证人提供身份信息，认证系统通过身份信息选取对应照片进行认证。而人脸识别是从K个人脸数据集中找出是否存在正在认证的人，这比人脸认证少了一个约束条件（没有提供认证者的身份信息）。因此人脸识别比人脸认证要难的多，因为它要对K个样本做对比，即使单个样本的准确率是99%那么遍历K个样本后准确率也会降低很多。1.2.单样本学习如果像之前那样，没添加一个样本，我们就增加一个softmax层的输出，并重新训练模型，这样.
2021-11-22 18:13:18
1896
原创 DeepLearning.AI Coursera公开课笔记（课程四第三周）CNN卷积神经网络
图1 计算机视觉物体定位参数在物体定位中，我们将图片左上角标记为(0,0)左标，而4钟物体的类别用4个0或者1的标签表示。物体的中点用bx，by表示。物体的高度和宽度用bh，bw，这样我们就可以用矩形表示物体的位置并标注物体的类别了。图2 定义目标标签y1）Pc 判断图片中是否有目标，有为1，无为02）bx，by，bh，bw目标的轮廓3）c1，c2，c3，c4目标的类别0或者1在计算cost的时候，如果pc（即y1）为0则 cost为 sqrt（yhat-..
2021-11-17 18:33:14
3249
原创 DeepLearning.AI Coursera公开课笔记（课程四第二周）CNN卷积神经网络
1.典型的神经网络1）LeNet-5网络图1 LeNet-5神经网络结构Le-Net-5神经网络大概有60k个参数。其结构为conv->pool->conv->pool->fc->fc->output，因为关于这个模型的论文发表于1998年，那个时候人们还不使用填充，所以这里卷积层都没有填充值。nh，nw在逐步减小，而nc逐步增加。2）AlexNet 网络图2 AlexNet 网络AlexNe与LeNet-5类似，但是大概有60m的参数...
2021-11-11 19:16:16
1262
原创 DeepLearning.AI Coursera公开课笔记（课程四第一周）CNN卷积神经网络
1.计算机视觉如果我们使用DNN来解决计算机视觉问题。当输入的图片像素过大时，例如（1000,1000,3）的图片其输入层将是3m大小，如果第一层有1000个节点。而第一层的w的维度将达到3m*1000=3billion，使用这么多参数，我们很难获得足够的数据以避免神经网络过拟合（因参数量过多，导致训练的模型与样本几乎无差别，虽然在训练集中cost，但是测试集中cos很大t并且精确率不高）。并且这么多参数对计算量和内存需求是不太可行的。因此为了能使用更大的图片进行训练，可以运用CNN进行卷积神经网络的运
2021-11-09 19:30:29
2235
原创 DeepLearning.AI Coursera公开课笔记（课程一第四周）DNN深度神经网络
1.深度为L层的神经网络概述图1 深度神经网络的结构图在前面课程讲述了只有一个隐藏层的神经网络，这周主要讲的是多个隐藏层的神经网络。在多层神经网络中，其中l表识layers，l=0代表第一层。例如n[l]代表第l层的节点数。n[0]=3代表输入层有3个节点。而第l层的w用w[l]标识，第l层的b用b[l]表示，以此类推。2.深度神经网络的前向传播图2 深度神经网络的前向传播公式深度神经网络的前向传播与单层神经网络类似。这里同样吧W、A、Z向量化，使其能够针对m个样本进行向...
2021-11-09 10:45:23
787
原创 DeepLearning.AI Coursera公开课笔记（课程一第三周）DNN深度神经网络
1.神经网络概述图 1单个隐藏层的神经网络结构在上图中，x1，x2，x3为输入层，上图右下角中，x1，x2，x3右边3个圆圈代表隐藏层，而yhat左边一个节点是输出层。前向传播过程是计算yhat值，从输入层开始到隐藏层再到输出层，其中每一层都经过z=w.T·x+b并且激活函数a=fuc(z),并将a传入到下一层。而反向传播的过程是刚好相反，求出J值后求出输出层的da，dz，dw，db 再求出隐藏层的da，dz，dw，db，致使所有梯度求解完成。2.神经网络的表示方法我们在正向传...
2021-11-08 14:09:12
264
原创 DeepLearning.AI Coursera公开课笔记（课程一第一周）DNN深度神经网络
1.什么是神经网络图1房价预测神经网络模型在上图中，左边size（房屋大小），bedrooms（卧室个数），zipcode（房子的邮政编码，代表房子的地区），wealth（房子的富裕程度）分别为参数x1，x2，x3，x4，为输入层。中间三个圆圈是连接层 ，连接层的每个节点与每个输出层都有连接，所以被称为全连接（每个x值均会影响连接层的所有节点），三个连接层最后汇聚到一点，这个节点称为输出层。最终会输出我们需要得到房价预测结果y。这就是最基本的神经网络，把一个输入 x（此时x代表x1，x...
2021-11-05 23:40:42
119
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人