吴恩达深度学习课程(deeplearning-ai)笔记
文章平均质量分 94
吴恩达深度学习课程笔记,可以配套视频一起学习
智潮先锋
这个作者很懒,什么都没留下…
展开
-
吴恩达深度学习课程笔记Lesson14(下)
在自然语言处理中,构建语言模型是最基础的也是最重要的工作之一,并且能用RNN很好地实现。在本视频中,你将学习用RNN构建一个语言模型,在本周结束的时候,还会有一个很有趣的编程练习,你能在练习中构建一个语言模型,并用它来生成莎士比亚文风的文本或其他类型文本。所以什么是语言模型呢?比如你在做一个语音识别系统,你听到一个句子,“the apple and pear(pair) salad was delicious.”,所以我究竟说了什么?我说的是 “the apple and pair salad”,还是“th原创 2024-08-22 15:27:19 · 719 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson01
我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢?在这个视频中,我会讲解一些直观的基础知识。让我们从一个房价预测的例子开始讲起。假设你有一个数据集,它包含了六栋房子的信息。所以,你知道房屋的面积是多少平方英尺或者平方米,并且知道房屋价格。这时,你想要拟合一个根据房屋面积预测房价的函数。如果你对线性回归很熟悉,你可能会说:“好吧,让我们用这些数据拟合一条直线。”于是你可能会得到这样一条直线。原创 2024-07-17 11:22:14 · 1046 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson02(上)
这周我们将学习神经网络的基础知识,其中需要注意的是,当实现一个神经网络的时候,我们需要知道一些非常重要的技术和技巧。例如有一个包含mmm个样本的训练集,你很可能习惯于用一个for循环来遍历训练集中的每个样本,但是当实现一个神经网络的时候,我们通常不直接使用for循环来遍历整个训练集,所以在这周的课程中你将学会如何处理训练集。另外在神经网络的计算中,通常先有一个叫做前向暂停(forward pause)或叫做前向传播(foward propagation)的步骤,接着有一个叫做反向暂停(backward pa原创 2024-07-17 14:24:21 · 686 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson02(下)
在之前的视频中,你已经看到如何计算导数,以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在mmm个训练样本上。首先,让我们时刻记住有关于损失函数J(w,b)J(w,b)J(w,b)的定义。J(w,b)=1m∑i=1mL(a(i),y(i))J(w,b)=\frac{1}{m}\sum\limits_{i=1}^{m}{L({{a}^{(i)}},{{y}^{(i)}})}J(w,b)=m1i=1∑mL(a(i),y(i))当你的算法输出关于样本yyy的a(i){{a}^{(i)}}a(i原创 2024-07-17 16:34:13 · 1136 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson03
本周你将学习如何实现一个神经网络。在我们深入学习具体技术之前,我希望快速的带你预览一下本周你将会学到的东西。如果这个视频中的某些细节你没有看懂你也不用担心,我们将在后面的几个视频中深入讨论技术细节。现在我们开始快速浏览一下如何实现神经网络。上周我们讨论了逻辑回归,我们了解了这个模型(见图3.1.1)如何与下面公式3.1建立联系。图3.1.1 :公式3.1:xwb} ⟹ z=wTx+b\left. \begin{array}{l} x\\ w\\ b \end{array} \righ原创 2024-07-17 18:12:20 · 731 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson04
比如上边右图,原创 2024-07-18 14:23:57 · 276 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson05(上)
{[l]}原创 2024-07-18 14:25:41 · 653 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson05(下)
Dropout可以随机删除网络中的神经单元,他为什么可以通过正则化发挥如此大的作用呢?直观上理解:不要依赖于任何一个特征,因为该单元的输入可能随时被清除,因此该单元通过这种方式传播下去,并为单元的四个输入增加一点权重,通过传播所有权重,dropout将产生收缩权重的平方范数的效果,和之前讲的L2L2L2正则化类似;实施dropout的结果实它会压缩权重,并完成一些预防过拟合的外层正则化;L2L2L2对不同权重的衰减是不同的,它取决于激活函数倍增的大小。总结一下,dropout的功能类似于L2L2L2正则化,原创 2024-07-18 15:32:38 · 1001 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson06
本周将学习优化算法,这能让你的神经网络运行得更快。机器学习的应用是一个高度依赖经验的过程,伴随着大量迭代的过程,你需要训练诸多模型,才能找到合适的那一个,所以,优化算法能够帮助你快速训练模型。其中一个难点在于,深度学习没有在大数据领域发挥最大的效果,我们可以利用一个巨大的数据集来训练神经网络,而在巨大的数据集基础上进行训练速度很慢。因此,你会发现,使用快速的优化算法,使用好用的优化算法能够大大提高你和团队的效率,那么,我们首先来谈谈mini-batch梯度下降法。你之前学过,向量化能够让你有效地对所有mmm原创 2024-07-19 09:30:00 · 846 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson07(上)
大家好,欢迎回来,目前为止,你已经了解到,神经网络的改变会涉及到许多不同超参数的设置。现在,对于超参数而言,你要如何找到一套好的设定呢?在此视频中,我想和你分享一些指导原则,一些关于如何系统地组织超参调试过程的技巧,希望这些能够让你更有效的聚焦到合适的超参设定中。关于训练深度最难的事情之一是你要处理的参数的数量,从学习速率aaa到Momentum(动量梯度下降法)的参数β\betaβ。如果使用Momentum或Adam优化算法的参数,β1\beta_{1}β1,β2{\beta}_{2}β2和ε\var原创 2024-07-19 11:00:05 · 311 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson07(下)
为什么Batch归一化会起作用呢?一个原因是,你已经看到如何归一化输入特征值xxx,使其均值为0,方差1,它又是怎样加速学习的,有一些从0到1而不是从1到1000的特征值,通过归一化所有的输入特征值xxx,以获得类似范围的值,可以加速学习。所以Batch归一化起的作用的原因,直观的一点就是,它在做类似的工作,但不仅仅对于这里的输入值,还有隐藏单元的值,这只是Batch归一化作用的冰山一角,还有些深层的原理,它会有助于你对Batch归一化的作用有更深的理解,让我们一起来看看吧。Batch归一化有效的第二个原因原创 2024-07-19 11:12:13 · 276 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson08
大家好,欢迎收听本课,如何构建你的机器学习项目也就是说机器学习的策略。我希望通过这门课程你们能够学到如何更快速高效地优化你的机器学习系统。那么,什么是机器学习策略呢?我们从一个启发性的例子开始讲,假设你正在调试你的猫分类器,经过一段时间的调整,你的系统达到了90%准确率,但对你的应用程序来说还不够好。你可能有很多想法去改善你的系统,比如,你可能想我们去收集更多的训练数据吧。或者你会说,可能你的训练集的多样性还不够,你应该收集更多不同姿势的猫咪图片,或者更多样化的反例集。原创 2024-07-23 14:49:40 · 592 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson09
深度学习中最令人振奋的最新动态之一就是端到端深度学习的兴起,那么端到端学习到底是什么呢?简而言之,以前有一些数据处理系统或者学习系统,它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段,用单个神经网络代替它。我们来看一些例子,以语音识别为例,你的目标是输入xxx,比如说一段音频,然后把它映射到一个输出yyy,就是这段音频的听写文本。所以传统上,语音识别需要很多阶段的处理。首先你会提取一些特征,一些手工设计的音频特征,也许你听过MFCC。原创 2024-07-23 14:24:00 · 855 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson10(上)
欢迎参加这次的卷积神经网络课程,计算机视觉是一个飞速发展的一个领域,这多亏了深度学习。深度学习与计算机视觉可以帮助汽车,查明周围的行人和汽车,并帮助汽车避开它们。还使得人脸识别技术变得更加效率和精准,你们即将能够体验到或早已体验过仅仅通过刷脸就能解锁手机或者门锁。当你解锁了手机,我猜手机上一定有很多分享图片的应用。在上面,你能看到美食,酒店或美丽风景的图片。有些公司在这些应用上使用了深度学习技术来向你展示最为生动美丽以及与你最为相关的图片。机器学习甚至还催生了新的艺术类型。深度学习之所以让我兴奋有下面两个原原创 2024-07-23 14:25:12 · 503 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson10(下)
你已经知道如何对二维图像做卷积了,现在看看如何执行卷积不仅仅在二维图像上,而是三维立体上。我们从一个例子开始,假如说你不仅想检测灰度图像的特征,也想检测RGB彩色图像的特征。彩色图像如果是6×6×3,这里的3指的是三个颜色通道,你可以把它想象成三个6×6图像的堆叠。为了检测图像的边缘或者其他的特征,不是把它跟原来的3×3的过滤器做卷积,而是跟一个三维的过滤器,它的维度是3×3×3,这样这个过滤器也有三层,对应红绿、蓝三个通道。给这些起个名字(原图像),这里的第一个6代表图像高度,第二个6代表宽度,这个3代表原创 2024-07-24 10:00:47 · 628 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson11
构建卷积层时,你要决定过滤器的大小究竟是1×1(原来是1×3,猜测为口误),3×3还是5×5,或者要不要添加池化层。而Inception网络的作用就是代替你来决定,虽然网络架构因此变得更加复杂,但网络表现却非常好,我们来了解一下其中的原理。例如,这是你28×28×192维度的输入层,Inception网络或Inception层的作用就是代替人工来确定卷积层中的过滤器类型,或者确定是否需要创建卷积层或池化层,我们演示一下。原创 2024-07-29 14:55:49 · 326 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson12
大家好,欢迎回来,这一周我们学习的主要内容是对象检测,它是计算机视觉领域中一个新兴的应用方向,相比前两年,它的性能越来越好。在构建对象检测之前,我们先了解一下对象定位,首先我们看看它的定义。图片分类任务我们已经熟悉了,就是算法遍历图片,判断其中的对象是不是汽车,这就是图片分类。这节课我们要学习构建神经网络的另一个问题,即定位分类问题。这意味着,我们不仅要用算法判断图片中是不是一辆汽车,还要在图片中标记出它的位置,用边框或红色方框把汽车圈起来,这就是定位分类问题。其中“定位”的意思是判断汽车在图片中的具体位置原创 2024-07-30 10:18:34 · 448 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson13
欢迎来到第四周,即这门课卷积神经网络课程的最后一周。到目前为止,你学了很多卷积神经网络的知识。我这周准备向你展示一些重要的卷积神经网络的特殊应用,我们将从人脸识别开始,之后讲神经风格迁移,你将有机会在编程作业中实现这部分内容,创造自己的艺术作品。让我们先从人脸识别开始,我这里有一个有意思的演示。我在领导百度AI团队的时候,其中一个小组由林元庆带领的,做过一个人脸识别系统,这个系统非常棒,让我们来看一下。(以下内容为演示视频内容)原创 2024-07-30 10:22:27 · 297 阅读 · 0 评论 -
吴恩达深度学习课程笔记Lesson14(上)
在本课程中你将学会序列模型,它是深度学习中最令人激动的内容之一。循环神经网络(RNN)之类的模型在语音识别、自然语言处理和其他领域中引起变革。在本节课中,你将学会如何自行创建这些模型。我们先看一些例子,这些例子都有效使用了序列模型。在进行语音识别时,给定了一个输入音频片段 XXX,并要求输出对应的文字记录 YYY。这个例子里输入和输出数据都是序列模型,因为 XXX是一个按时播放的音频片段,输出 YYY是一系列单词。所以之后将要学到的一些序列模型,如循环神经网络等等在语音识别方面是非常有用的。音乐生成问题是使原创 2024-08-20 12:13:06 · 546 阅读 · 0 评论