Andrew Ng-2017深度学习微专业
jingqiulyue
迭代升级中
展开
-
1.神经网络和深度学习-第一周(概论)与第二周(神经网络基础)
Core:学习神经网络和深度学习的基础与案例 第一周 深度学习概论 ReLU,全称是“修正线性单元”,rectified linear unit。神经元可以说是一个relu。 神经网络非常善于计算从x到y的标准映射函数,为了创造更大的价值,要仔细选择x和y。 循环神经网络非常适合处理一维序列数据,其中包含时间成分。 机器学习被应用于结构化数据和非结构化数据。 结构化数据:数据的数据...原创 2018-02-15 00:09:54 · 370 阅读 · 0 评论 -
3.结构化机器学习项目 第二周 ML策略2
2.1 进行误差分析 误差分析:如果希望让学习算法能够胜任人类能做的任务,但学习算法还没有达到人类的表现。那么,需要人工检查一下算法所犯的错误,也许可以知道接下来该如何是好。 根据能够达到的性能上限,判断Idea是否值得继续。评估某个想法是否值得解决。 有时在做误差分析时,也可以同时并行评估几个想法。 看各个错误类型所占的百分百,以及出错的原因,看是否值得去处理每个不同的错误类型。比如...原创 2018-02-23 17:48:25 · 305 阅读 · 0 评论 -
3.结构化机器学习项目 第一周 ML策略1
Core:学习诊断机器学习系统中的错误,训练属于自己的AI。 1.1 为什么是ML策略 思路: 一些分析机器学习问题的方法,朝着最有希望的方向前进。 1.2 正交化 油门,刹车,方向盘,分开控制好。 至于,early stopping 就没有那么正交化了,因为会同时影响对训练集的拟合,让拟合不太好,同时,也可以用来改善dev set的表现。一般不用。 1.3 单一数字评估...原创 2018-02-23 17:44:28 · 219 阅读 · 0 评论 -
4.卷积神经网络-第四周 特殊应用 人脸识别和神经风格转换
4.1 什么是人脸识别? 人脸识别的一些术语:人脸验证和人脸识别。 人脸验证问题:只需要弄明白这个人和他声称的身份是否相符。 而人脸识别比人脸验证要难很多。 如果人脸验证的准确率足够高,那么就可以将其应用在人脸识别系统上。4.2 One-shot学习 主要讲如何构造人脸验证系统? 人脸验证之所以难,是因为要解决“一次学习”,即one-shot learning的问题。这...原创 2018-02-20 23:26:52 · 577 阅读 · 0 评论 -
4.卷积神经网络-第三周 目标检测
3.1 目标定位 Object localization 定位就是标明汽车在图片中的具体位置。 训练集不仅包含了神经网络要预测的对象分类标签,还包含了边界框的四个数字。接着用监督学习法输出一个分类标签还有这四个参数值,从而给出边界框的位置。 如何为监督学习任务定义目标标签y? 为简化,针对这种分类定位问题,图片最多只会出现其中一个对象。 如果图片中不存在对象,那么不用考虑网络输...原创 2018-02-20 23:25:39 · 795 阅读 · 0 评论 -
4.卷积神经网络-第二周 深度卷积网络:实例探究
2.1 为什么要进行实例探究 神经网络的基本构件:卷积层,池化层和全连接层。通过探究实例,可以对如何构建有效的卷积神经网络更有感觉。 2.2 经典网络 Lenet 不用padding 这个神经网络有一种模式至今经常使用,那就是:一个或多个卷积层后面跟着一个池化层。 AlexNet:用了2块GPU 作者:Alex Krizhevsky 原文是224,但在推导之后,用227更...原创 2018-02-20 23:25:04 · 777 阅读 · 0 评论 -
4.卷积神经网络-第一周 卷积神经网络
Core:学习搭建卷积神经网络并将其应用于计算机视觉识别。 1.1 计算机视觉 产生了新的产品和应用。 不只能处理小图,而且能处理大图,为此需要进行卷积运算。 1.2 边缘检测示例 卷积运算是卷积神经网络最基本的组成部分。 如何在图像中检测这些边缘? kernel = filter vertical edge detection 数学中,*是卷积。但在编程语言中,用函数来...原创 2018-02-20 23:23:51 · 326 阅读 · 0 评论 -
2.改善深层神经网络-第三周 超参数调试,batch正则化和程序框架
超参数调试 3.1 调试处理 系统的组织超参调试过程的技巧,合适的超参数设定。 重要性程度:红 橙 紫 惯例1:关于参数,应该采用随机取值,而不是网格取值。随机取值可以提升搜索效率。 但是,随机取值并不是在有效值范围内随机均匀取值,而是选择合适的标尺scale,用于研究这些超参数。 惯例2:采用有粗糙到精细的策略coarse to fine 通过试验超参数的不同取值,可以...原创 2018-02-18 02:32:32 · 433 阅读 · 0 评论 -
2.改善深层神经网络-第二周 优化算法
优化算法让神经网络运行的更快,有利于快速训练模型! weight_decay:权重衰减项,防止过拟合的一个参数。 2.1 Mini-batch 梯度下降法 已知向量化可以有效的对所有m个例子进行计算,允许处理整个训练集。但是如果m太大的话,处理速度仍然缓慢。所以要用mini-batch。 对x而言, 对y而言,也要相应的拆分Y的训练集。 输入输出对 batch梯度下降法就...原创 2018-02-18 02:30:47 · 354 阅读 · 0 评论 -
2.改善深层神经网络-第一周 深度学习的应用层面
Core:理解最前沿的深度学习方法,学会搭建自己的神经网络,学会如何有效运作神经网络,内容涉及超参数调优,如何构建数据,以及如何确保优化算法快速运行,从而使学习算法在合理时间内完成自我学习。 1.1 训练,开发,测试集 dev set = hold-out cross validation set 好处:Having set up a train dev and test set will ...原创 2018-02-18 02:29:35 · 385 阅读 · 0 评论 -
1.神经网络和深度学习-第三周 浅层神经网络
第三周 浅层神经网络 Core:如何实现神经网络。 神经网络表示(只有一个隐藏层的神经网络): 隐藏层的含义是在训练集中这些中间节点的真正数值是不知道的,在训练集中无法看到。 输入特征的数值的表示方式: One:XXX Two:a[0]a[0]a^{[0]},a表示激活的意思,它意味着网络中不同层的值会传递给后面的层。 注意每层参数的维度: 要想计算神经网络的输...原创 2018-02-15 00:58:58 · 348 阅读 · 0 评论 -
1.神经网络和深度学习-第四周 深层神经网络
第四周 深层神经网络 Logistc回归是一个浅层模型,技术层面说logistic回归是单层神经网络。 符号:用a[l]a[l]a^{[l]}表示L layer中的激活函数。 神经网络中的前向传播: 单个训练集: 怎样用向量化的方法训练整个训练集:要做的只是把所有的zzz和aaa向量叠起来,换掉小写的zzz和aaa,就可以得到一个同时针对整个训练集的向量化的正向传播算法步骤。最后...原创 2018-02-15 00:59:26 · 277 阅读 · 0 评论 -
5.序列模型 第一周 循环序列模型
Core:学习搭建循环神经网络并将其应用于自然语言识别和音频应用。 本课程分3周: 第一周 循环序列模型(只学习) 第二周 自然语言处理与词嵌入 第三周 序列模型与注意力机制1.1 为什么选择序列模型? X与Y可能都是序列,也可能有一方是序列。输入与输出的序列长度可以不同。 1.2 数学符号 识别句中人名位置的序列模型。(命名实体识别问题) 用x<t>x&l...原创 2018-02-23 17:35:25 · 558 阅读 · 0 评论