吴恩达深度学习课程
文章平均质量分 77
CtrlZ1
浮天水送无穷树,带雨云埋一半山。
展开
-
吴恩达深度学习04-2.67 Inception网络
目录whyhowProblemwhatwhy如果你不清楚选用什么尺寸的卷积核来进行卷积操作,那么Inception可以帮我们自动的选择是采用什么尺寸的卷积核或者干脆不进行卷积而是进行池化操作。卷积核的选取其实有时候非常困难,图像不同很难一概而论,比如以下图片:(图源:https://unsplash.com/)狗的图像可以是以上任意情况。每张图像中狗所占区域都是不同的。由于信息位置的巨大差异,为卷积操作选择合适的卷积核大小就比较困难。信息分布更全局性的图像偏好较大的卷积核,信息分布比较局部的图原创 2021-01-15 12:34:04 · 131 阅读 · 0 评论 -
吴恩达深度学习04-2.5 1X1卷积
目录whatwhywhat先上图首先摆在你面前的是一个6*6有32个信道的张量,我们先看普通的3*3*32的的卷积操作。普通卷积操作是:每个信道(即每一层矩阵)的元素对位相乘作和(即将3*3的矩阵拿到6*6矩阵的左上角做对位相乘作和操作)得到一个实数,因为有32个信道(即32层厚度),我们会得到32个实数,再把这32个实数求和,我们得到了一步卷积之后的最左上角的一个实数(最终卷积得到的矩阵是4*4,设padding=0,step=1)。而后依次挪动卷积核就可以得到完整的4*4的矩阵了,这是一个卷原创 2021-01-14 15:28:53 · 238 阅读 · 3 评论 -
吴恩达深度学习04-第一周卷积神经网络
目录卷积神经网络举例为什么使用卷积参数共享稀疏连接卷积神经网络举例第一周的课程比较基础,主要讲了有关卷积的基础知识,在这里我不赘述了,将重点内容再记录一下。首先看它在1-10中举的例子:过程比较简单,两个卷积-池化层,然后是三个全连接层,实现了一个有关手写数字识别的例子。输入的图像是32*32*3的RGB图像,我们对照第二个图表,一步一步的看一下。首先第一层输入层,32*32*3的图像,对应激活值是32*32*3=3072,这一层没有参数,参数parameters=0.而后,卷积层,采原创 2021-01-11 14:34:25 · 107 阅读 · 0 评论 -
吴恩达深度学习03-2.910 端到端的学习
目录什么是端到端学习(end-to-end learning)概念举例是否要使用到端到端学习什么是端到端学习(end-to-end learning)概念简单来说,就是一项有很多中间步骤的任务摆在你面前,它需要对输入x做很多步的中间处理,然后得到目标y。而端到端学习则只学习x对于y的映射,即学习输入x,对应标签输出y,而不考虑中间的过程处理,仅仅通过学习映射的方式来将此任务解决。这样的好处就是省去了中间处理的繁琐步骤,但并不是所有的任务都适合端到端学习,通常来说,数据量很多的时候端到端学习相比分步学原创 2021-01-10 14:07:08 · 499 阅读 · 0 评论 -
吴恩达深度学习03-2.78 迁移学习和多任务学习
目录迁移学习(Transfer learning)什么是迁移学习怎样进行迁移学习迁移学习何时有意义其他多任务学习迁移学习(Transfer learning)什么是迁移学习深度学习中,最强大的理念之一就是,有的时候,神经网络可以从一个任务中习得知识,并将这些知识应用到另一个独立的任务中。例如你已经训练好一个神经网络能够识别像猫这样的对象,然后使用那些知识,或者部分习得的知识去帮助你更好地阅读x射线扫描图。用神经网络的语言来描述迁移学习其实就是,借用你训练到某层的结点数据,加入新的训练集数据,原创 2021-01-10 00:12:21 · 361 阅读 · 1 评论 -
吴恩达深度学习03-2.6 定位数据不匹配
问题很多时候都会存在验证、测试集数据与训练集数据分布不同的问题,目前并没有系统的方法来解决这样的问题,但是往往可以通过人工的方式,找出训练数据和验证测试数据的差别,然后试图对数据进行一些操作来平衡这些差别。例如语音识别,可能测试集数据语音有很多背景噪声,而训练集没有,当然,实际的语音识别环境肯定是有一些背景噪声的,所以对于训练集,我们可以进行一些操作,有人说可以适用合成声音,为清洗的训练集数据添加噪音。但是这么做是有潜在问题的,比如训练集某条数据声音长达1h,而你的噪音是10mins,有一种选择是将原创 2021-01-08 15:47:50 · 195 阅读 · 0 评论 -
吴恩达深度学习03-2.4 在不同的划分上进行训练并测试
目录在不同的划分上进行训练并测试总结在不同的划分上进行训练并测试设想这样一个场景,你需要识别用户上传的图片是否含有猫,你首先需要收集训练数据。如上所示,倘若你从网站上爬取了20w张高像素的照片,但只有1w张用户上传的不是那么清晰的图片数据,你手里只有这21w条数据,然而,只有1w张是你需要识别的用户上传的低像素图片的训练数据。可是你总不能不用那20w张高像素的吧,那么该如何划分训练集,验证集和测试集呢?其实就是这么一个问题,你要识别的目标数据分布和你手头训练数据的数据分布不同,然而偏偏还占了你手头原创 2021-01-08 14:49:26 · 123 阅读 · 0 评论 -
吴恩达深度学习03-2.2 清楚标注错误的数据
目录训练集标注错误随即错误规律性错误测试集或者验证集出现错误其他需要注意的原则训练集标注错误有时候,我们的训练集数据标签并不是正确的,而是存在一些错误的标签的,对于其不同的错误情况,我们有不同的处理措施。随即错误即训练集中标注错误的数据是随机的,没有特定的规律可言,在这种情况下,我们可以不做处理。因为神经网络对于随机误差的鲁棒性是很高的。规律性错误这种情况往往是由于某种有规律的错误标注导致的。举个例子,倘若你的神经网络要识别一张图像中有没有猫,而训练集中所有图像中有白色的狗的图像都被原创 2020-12-23 09:47:20 · 1133 阅读 · 1 评论 -
吴恩达深度学习02-3.567 Batch Normalization(BN)
目录前言why BN?Internal Covariate ShiftBN起源具体操作白化使之趋于非线性将BN拟合进神经网络前言最近在着手一项课设,在使用深度学习FCN网络的时候遇到了BN的问题,正巧的是,我同时在吴恩达老师的深度学习课程上看到了有关BN的问题,同时BN也是挺有意思、挺重要的知识。于是写下这篇文章来记录有关BN的学习过程。本文综合了吴恩达老师的深度学习课程以及诸多博客的优秀见解,在此致谢。why BN?Internal Covariate Shift首先介绍一个概念——ic原创 2020-12-14 11:25:39 · 413 阅读 · 0 评论 -
归一化输入特征加快模型训练
转自:https://blog.csdn.net/weixin_42555985/article/details/1062784731.9 归一化输入 Normalizing inputs训练NN,其中一个加速训练的方法就是归一化输入。如上图,数据集的散点图。假设一个训练集有两个特征,输入特征为2维,归一化需要两个步骤:step1:零均值μ = 1 m ∑ i = 1 m x ( i ) \mu =\frac 1m\sum_{i=1}^mx^{(i)}μ=m1i=1∑mx(i)向量转载 2020-12-14 09:50:20 · 654 阅读 · 0 评论 -
【转】图像卷积后的大小计算公式
原文:https://blog.csdn.net/aron_conli/article/details/95175757?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control.转载 2020-12-09 11:29:35 · 1786 阅读 · 0 评论 -
吴恩达深度学习02-3.2 为超参数选择合适的范围
目录选择范围解决措施选择范围超参数的范围选择好像是一件很简单的事情,给定我一个参数的区间,对区间内的点挨个试不就知道了?事实上,并不是这样的,对于不同的参数,上述措施,并不总是对的。对于上面两个参数:隐藏单元的数量和层数,采用均匀取值的方法貌似是合理的。但是对于另一些参数,上述策略是不合理的,例如学习率α倘若学习率取值范围是0.0001到1,那么很显然,在这个区间上,有约90%的资源用在0.1到1这个区间上,只有约10%的资源在0.0001到0.1这个区间上。但事实上,对于学习率这个特殊原创 2020-12-08 21:17:46 · 626 阅读 · 3 评论 -
吴恩达深度学习02-3.1 调试处理
目录超参数重要程度调参策略超参数重要程度在深度学习的诸多超参数中,吴恩达老师提出了自己对于超参数重要程度的见解:图中超参数依次为:学习率、动量SDG中的β、Adam中的β1、β2、层数、隐藏层神经元数、学习率衰减、mini-batch size。 吴恩达老师认为上图中超参数调整的重要程度依次为:红色、橙色、紫色。调参策略1.网格搜索:吴恩达老师不推荐使用网格搜索,原因是:以上图为例,并不能确定两个参数的重要性,因此网格搜索可能会做很多无用功。比如倘若上图中两个参数h1、h2分别是几乎最原创 2020-12-08 20:26:50 · 167 阅读 · 0 评论 -
吴恩达深度学习02-2.9 学习率衰减
目录引子怎样对学习率进行控制引子倘若不随着训练的进行来对学习率进行适当的控制,则会出现上图中蓝色曲线的情况,即最终参数值会以较大的幅度在收敛值附近摆动;倘若对其进行控制,则会出现上图中绿色曲线的情况,即最终参数值会以原来越小的幅度在收敛值附近摆动。很显然,你更希望出现绿色的情况。怎样对学习率进行控制很明显,学习率需要不断的衰减,那么常用的衰减策略是什么呢?吴恩达老师一共给出了三种计算公式,下面是第一种。第2、3种:可以看出,第二种属于指数下降。...原创 2020-12-08 19:54:34 · 145 阅读 · 0 评论 -
吴恩达深度学习02-2.3 指数加权平均
目录引例引例吴恩达老师是以气温折线图为例子展开论述的。横坐标是某天,纵坐标是温度,然后图中蓝色的点代表某天的气温。上文的公式就是绘制红色、绿色、黄色曲线所用到的指数加权平均公式,公式中的参数β分别设置为0.9、0.98、0.5,对应曲线红色、绿色、黄色。然后右面的公式1/(1-β)是相当于指数加权平均所平均的天数x,可以理解为绘制某点q的时候综合了前面x天的气温平均得来的该点q的温度。所以当β=0.98的时候,综合了前面50天的气温,由此可知,它对于温度变化的反应是比较慢的,因为过去的气温影响目原创 2020-12-07 19:56:19 · 541 阅读 · 1 评论