![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
吴恩达《深度学习》
文章平均质量分 91
跟随吴恩达老师的课上笔记
青春是首不老歌丶
这个作者很懒,什么都没留下…
展开
-
吴恩达《深度学习》笔记汇总
第一门课:神经网络和深度学习(第一周)——深度学习引言第一门课:神经网络和深度学习(第二周)——神经网络的编程基础第一门课:神经网络和深度学习(第三周)——浅层神经网络第一门课:神经网络和深度学习(第四周)——深层神经网络第二门课:改善深层神经网络:超参数调试、正则化以及优化(第一周)——深度学习的实用层面第二门课:改善深层神经网络:超参数调试、正则化以及优化(第二周)——优化算法第二门课:改善深层神经网络:超参数调试、正则化以及优化(第三周)——超参数调试、Batch正则化和程序框架 ....原创 2022-12-14 10:17:33 · 10423 阅读 · 2 评论 -
第五门课:序列模型(第三周)——序列模型和注意力机制
1. 基础模型seq2seq : 语言翻译特征:输入长度和输出长度不一样image to sequence:图片描述特征:先获取图片中的信息,然后将信息转译出来2. 选择最可能的句子机器翻译模型(条件语言模型) 和 语言模型 一个主要的区别:语言模型 随机地生成句子条件语言模型,你要找到最有可能的英语句子,但是由于句子组合数量过于巨大,因此需要一种合适的搜索算法——集束搜索(Beam Search)贪心搜索算法:每次根据条件概率找到最好的构成句子的单词,但是这种算法没有原创 2021-09-10 10:11:01 · 845 阅读 · 0 评论 -
第五门课:序列模型(第二周)——自然语言处理与词嵌入
自然语言处理与词嵌入1. 词汇表征2. 使用词嵌入3. 词嵌入的特性4. 嵌入矩阵5. 学习词嵌入6. Word2Vec7. 负采样8. GloVe 词向量9. 情感分类10. 词嵌入除偏1. 词汇表征词嵌入(word embeddings),这是语言表示的一种方式,可以让算法自动的理解一些类似的词,比如 男人对女人,国王对王后而如果使用个one-hot 向量来表示词,缺点:它把每个词孤立起来,算法对相关词的泛化能力不强(每两个词之间的向量内积都是0)t-SNE(t-distributed sto原创 2021-09-03 21:16:20 · 955 阅读 · 0 评论 -
第五门课:序列模型(第一周)——循环序列模型
循环序列模型1. 为什么选择序列模型2. 数学符号3. 循环Recurrent 神经网络模型4. 通过时间的反向传播5. 不同类型的循环神经网络6. 语言模型和序列生成7. 对新序列采样8. 循环神经网络的梯度消失9. Gated Recurrent Unit(GRU单元)10. LSTM(long short term memory)unit11. 双向循环神经网络(Bidirectional RNN)12. 深层循环神经网络(Deep RNNs)1. 为什么选择序列模型有些问题,输入数据 X 和转载 2021-09-02 11:54:53 · 1104 阅读 · 0 评论 -
第四门课:卷积神经网络(第四周)——特殊应用:人脸识别和神经风格转换
特殊应用:人脸识别和神经风格转换1. 什么是人脸识别2. One-Shot学习3. Siamese 网络4. Triplet 损失5. 人脸验证与二分类6. 什么是神经风格迁移7. 深度卷积网络在学什么8. Cost function9. Content cost function10. Style cost function11. 一维到三维推广1. 什么是人脸识别门禁闸机:人脸识别+活体检测人脸验证(face verification)输入图片,ID / 人名输出图片是否是这个人(1对1问题转载 2021-08-29 17:27:15 · 824 阅读 · 0 评论 -
第四门课:卷积神经网络(第三周)——目标检测
目标检测1. 目标定位2. 特征点检测3. 目标检测4. 滑动窗口的卷积实现5. Bounding Box预测(YOLO)6. 交并比7. 非极大值抑制8. Anchor Boxes9. YOLO 算法10. 候选区域1. 目标定位定位分类问题:不仅要判断图片中是不是一辆汽车,还要标记出它的位置,用框圈起来2. 特征点检测Landmark 检测3. 目标检测基于滑动窗口的目标检测将目标剪切出来,训练卷积网络以一定大小的窗口扫描图片,将窗口内的图片输入卷积网络预测更改窗口大小,重转载 2021-08-25 17:27:17 · 1205 阅读 · 0 评论 -
第四门课:卷积神经网络(第二周)——深度卷积网络:实例探究
深度卷积网络:实例探究1. 为什么要进行实例探究2. 经典网络3. 残差网络 ResNets4. 残差网络为什么有用5. 网络中的网络 以及 1×1 卷积6. 谷歌 Inception 网络简介7. Inception 网络8. 使用开源的实现方案9. 迁移学习10. 数据增强 Data augmentation11. 计算机视觉现状1. 为什么要进行实例探究学习大佬们的组建网络的方法,借鉴过来解决自己的问题经典的网络模型:LeNet-5AlexNetVGGResNet,残差网络,它有152转载 2021-08-21 14:52:35 · 1222 阅读 · 0 评论 -
第四门课:卷积神经网络(第一周)——卷积神经网络
卷积神经网络1. 计算机视觉2. 边缘检测示例3. 更多边缘检测4. Padding5. 卷积步长6. 三维卷积7. 单层卷积网络8. 简单卷积网络示例9. 池化层10. 卷积神经网络示例11. 为什么使用卷积?1. 计算机视觉举例:图片猫????识别,目标检测(无人驾驶),图像风格转换(比如转成素描)等等面临的挑战:数据的输入可能会非常大一张1000×1000的图片,特征向量的维度达到了1000×1000×3(RGB,3通道) = 300万在第一隐藏层中,你也许会有1000个隐藏单元,使用标翻译 2021-08-17 11:26:17 · 1675 阅读 · 0 评论 -
第三门课:结构化机器学习项目(第二周)——机器学习策略(2)
机器学习策略[2]1. 进行误差分析2. 清除标注错误的数据3. 快速搭建你的第一个系统,并进行迭代4. 使用来自不同分布的数据,进行训练和测试5. 数据分布不匹配时,偏差与方差的分析6. 定位数据不匹配问题7. 迁移学习 Transfer learning8. 多任务学习 Multi-task learning9. 什么是端到端的深度学习10. 是否要使用端到端的深度学习1. 进行误差分析举例:图片猫分类器,算法将一些狗????分类为猫????收集 n 个预测错误的开发集样本,手动检查(错误分转载 2021-08-14 18:50:40 · 917 阅读 · 0 评论 -
第三门课:结构化机器学习项目(第一周)——机器学习策略(1)
机器学习策略[1]1. 机器学习策略2. 正交化 Orthogonalization3. 单一数字评估指标4. 满足和优化指标5. 训练/开发/测试集划分6. 开发集和测试集的大小7. 什么时候该改变开发/测试集和指标8. 人类的表现水准9. 可避免偏差10. 理解人的表现11. 超过人的表现12. 改善你的模型的表现1. 机器学习策略如何改善模型的性能?收集更多数据训练集多样性(如,识别猫,收集各种姿势的猫,以及反例)训练的时间更长一些尝试不同的优化算法(如 Adam优化)规模 更大 /转载 2021-08-12 09:44:11 · 1091 阅读 · 0 评论 -
第二门课:改善深层神经网络:超参数调试、正则化以及优化(第三周)——超参数调试、Batch正则化和程序框架
这里写目录标题1. 调试处理2. 为超参数选择合适的范围3. 超参数调试的实践4. 归一化网络的激活函数5. 将 Batch Norm 拟合进神经网络6. Batch Norm 为什么奏效7. 测试时的 Batch Norm8. Softmax 回归9. 训练一个 Softmax 分类器10. 深度学习框架11. TensorFlow1. 调试处理需要处理的参数:参数重要程度学习率 α\alphaα★★★★Momentum(动量梯度下降法)参数 β=0.9\beta = 0转载 2021-08-07 10:44:00 · 1354 阅读 · 0 评论 -
第二门课:改善深层神经网络:超参数调试、正则化以及优化(第二周)——优化算法
这里写目录标题1. Mini-batch 梯度下降2. 理解 mini-batch 梯度下降3. 指数加权平均数4. 理解指数加权平均数5. 指数加权平均的偏差修正6. 动量Momentum梯度下降法7. RMSprop8. Adam 优化算法9. 学习率衰减10. 局部最优的问题1. Mini-batch 梯度下降在巨大的数据集上进行训练,速度非常慢,如何提高效率?前面我们学过向量化可以较快的处理整个训练集的数据,但是如果样本非常的大,在进行下一次梯度下降之前,你必须完成前一次的梯度下降。如果我们能转载 2021-08-06 10:44:25 · 1420 阅读 · 1 评论 -
第二门课:改善深层神经网络:超参数调试、正则化以及优化(第一周)——深度学习的实用层面
深度学习的实用层面1. 训练,验证,测试集2. 偏差,方差3. 机器学习基础4. 正则化5. 为什么正则化预防过拟合6. dropout(随机失活)正则化7. 理解 dropout8. 其他正则化9. 归一化输入10. 梯度消失 / 梯度爆炸11. 神经网络权重初始化12. 梯度的数值逼近13. 梯度检验14. 梯度检验的注意事项1. 训练,验证,测试集深度学习是一个典型的迭代过程,迭代的效率很关键创建高质量的训练数据集,验证集和测试集有助于提高循环效率切分标准:小数据量时代,常见做法是三七分,转载 2021-08-01 16:04:22 · 2178 阅读 · 1 评论 -
第一门课:神经网络和深度学习(第四周)——深层神经网络
深层神经网络1. 深层神经网络2. 深层网络中的前向传播3. 前向传播和反向传播4. 核对矩阵的维数5. 为什么使用深层表示?6. 搭建神经网络块7. 参数 vs. 超参数8. 深度学习和大脑的关联性1. 深层神经网络深层神经网络其实就是包含更多的隐藏层神经网络。如下图所示,分别列举了逻辑回归、1个隐藏层的神经网络、2个隐藏层的神经网络和5个隐藏层的神经网络它们的模型结构。命名规则上,一般只参考隐藏层个数和输出层。例如,上图中的逻辑回归又叫1 layer NN,1个隐藏层的神经网络叫做2 laye原创 2021-07-30 20:13:55 · 3068 阅读 · 7 评论 -
第一门课:神经网络和深度学习(第三周)——浅层神经网络
浅层神经网络1. 神经网络概览2. 神经网络的表示3. 神经网络的输出4. 多样本向量化5. 激活函数6. 为什么需要 非线性激活函数7. 激活函数的导数8. 随机初始化1. 神经网络概览对于以往由逻辑单元组成的简单神经网络,我们对其计算过程已经大致了解。接下来我们类比于浅层神经网络中。第一层根据输入计算 z[1]z^{[1]}z[1] ,然后计算第一层的输出 a[1]a^{[1]}a[1]。把第一层的输出 a[1]a^{[1]}a[1] 作为第二层的输入, 计算 z[2]z^{[2]}z原创 2021-07-26 12:06:07 · 2306 阅读 · 1 评论 -
第一门课:神经网络和深度学习(第二周)——神经网络的编程基础
.原创 2021-07-25 12:08:33 · 3043 阅读 · 1 评论 -
第一门课:神经网络和深度学习(第一周)——深度学习引言
引言1. 什么是神经网络2. 神经网络的监督学习3. 为什么深度学习会兴起1. 什么是神经网络 我们从一个房价预测的例子开始讲起。 假设你有一个数据集,它包含了六栋房子的信息。所以,你知道房屋的面积是多少平方英尺或者平方米,并且知道房屋价格。这时,你想要拟合一个根据房屋面积预测房价的函数。如下图所示。 我们知道价格永远不会是负数的。所以我们应用一个新的函数来拟合这组数据。该函数从趋近于零开始,然后变成一条直线。这个函数被称作ReLU激活函数,它的全称是Rectified Linear Uni原创 2021-07-20 16:28:46 · 2637 阅读 · 3 评论