![](https://img-blog.csdnimg.cn/20190501171847514.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
吴恩达——深度学习课程
这是一个搬运专栏,是总结却很少思考。
涛涛酱
北邮研究僧在读
展开
-
【Ng 深度学习课程总结】04. 改善深层神经网络 ——卷积神经网络
week1. 卷积神经网络基础课程:边缘检测示例;padding:为什么需要填充;填充的两种方式;卷积步长;立体卷积;过滤器的维度;卷积后维度的计算;池化层:最大池化;平均池化;LeNet5 实例使用卷积的好处;编程作业:原生代码实现卷积神经网络的一些模块:卷积模块:使用0扩充边界;卷积窗口;前向卷积;反向卷积(可选,暂时没看);...原创 2019-05-02 11:58:15 · 152 阅读 · 0 评论 -
【Ng 深度学习课程总结】02. 改善深层神经网络 ——超参数调试、正则化以及优化
week1. 深度学习的实用层面课程数据集的划分:从小数据集到大数据时代;偏差和方差:如何衡量;如何应对;正则化项logistic regression;神经网络中;计算代价函数和梯度;为什么正则化项可以减少过拟合;dropout作用;反向随机失活;dropout缺点;正向传播和反向传播时都需要用;其它正则化方法:数据增强;early stoppin...原创 2019-04-30 11:35:59 · 165 阅读 · 0 评论 -
【Ng 深度学习课程总结】01.神经网络和深度学习
week2. 神经网络基础课程logistic regression用于二分类的监督问题;sigmoid函数的引入;(梯度消失问题)loss 是在单个样本上定义的,衡量了算法在单个样本上的表现,LR loss函数的详细解释;cost 衡量参数在全体样本上的表现,是所有样本的loss和;学习的目的是找到最优参数使cost最小;梯度下降(前向传播,反向传播,更新参数);m个样本的...原创 2019-04-24 11:23:58 · 161 阅读 · 0 评论 -
05. 序列模型 —— week1. 循环序列模型
1. 序列模型的应用语音识别:将输入的语音信号直接输出相应的语音文本信息。无论是语音信号还是文本信息均是序列数据。音乐生成:生成音乐乐谱。只有输出的音乐乐谱是序列数据,输入可以是空或者一个整数。情感分类:将输入的评论句子转换为相应的等级或评分。输入是一个序列,输出则是一个单独的类别。DNA序列分析:找到输入的DNA序列的蛋白质表达的子序列。机器翻译:两种不同语言之间的想换转换。输入和输...转载 2019-03-16 21:58:19 · 250 阅读 · 0 评论 -
04.卷积神经网络 —— week4. 人脸识别和神经风格迁移(编程作业)
第一部分 人脸识别1. 将人脸图像编码为128位的向量原创 2019-03-15 22:04:59 · 326 阅读 · 0 评论 -
04.卷积神经网络 —— week4. 人脸识别和神经风格迁移
1. 人脸识别人脸验证和人脸识别人脸验证(Verification):Input:图片、名字/ID;Output:输入的图片是否是对应的人;1 to 1 问题。人脸识别(Recognition):拥有一个具有K个人的数据库;输入一副人脸图片;如果图片是任意这K个人中的一位,则输出对应人的ID。人脸识别问题对于人脸验证问题来说,具有更高的难度。如对于一个验证系统来...转载 2019-03-14 15:27:38 · 328 阅读 · 0 评论 -
04.卷积神经网络 —— week3.目标检测(编程作业)
Task:学习使用YOLO算法进行对象识别。输入图像为(608,608,3)输入的图像先要通过一个CNN模型,返回一个(19,19,5,85)的数据。在对最后两维降维之后,输出的维度变为了(19,19,425):每个19x19的单元格拥有425个数字。425 = 5 x 85,即每个单元格拥有5个锚框,每个锚框由5个基本信息+80个分类预测构成。85 = 5 + 80,...原创 2019-03-13 16:35:09 · 167 阅读 · 0 评论 -
04. 卷积神经网络 —— week3. 目标检测
1. 目标定位和特征点检测图片检测问题:分类问题:判断图中是否为汽车;目标定位:判断是否为汽车,并确定具体位置;目标检测:检测不同物体并定位。目标分类和定位:对于目标定位问题,我们卷积神经网络模型结构可能如下:输出:包含图片中存在的对象及定位框行人,000 or 111;汽车,000 or 111;摩托车,000 or 111;图片背景,000 or 111;定位...转载 2019-03-12 21:14:04 · 587 阅读 · 0 评论 -
04.卷积神经网络 —— week2. 深度卷积网络模型
OutlineClassic networks:LeNet-5AlexNetVGGResNetInception1. 经典的卷积网络LeNet-5:LeNet-5主要是针对灰度设计的,所以其输入较小,为 32\times32\times1 ,其结构如下:在LetNet中,存在的经典模式:随着网络的深度增加,图像的大小在缩小,与此同时,通道的数量却在增加;每个卷...转载 2019-03-07 11:18:57 · 368 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week3 超参数调试、Batch 正则化和程序框架(编程作业)
Task:1. 神经网络的底层搭建实现一些模块的函数功能:卷积模块使用0扩充边界 np.pad函数,没太明白二维以及更高维的填充原理,但是只填充一个数的时候,计算出维度就好了。卷积窗口前向卷积反向卷积(可选)没看。。。池化模块前向池化 和前向卷积的步骤基本一样,最后的运算函数不同。创建掩码值分配反向池化(可选)没看。。。2. 使用Tensorflow实现卷...原创 2019-03-05 10:03:43 · 173 阅读 · 0 评论 -
04.卷积神经网络 —— week1. 卷积神经网络基础
1. 计算机视觉计算机视觉(Computer Vision)包含很多不同类别的问题,如图片分类、目标检测、图片风格迁移等等。对于小尺寸的图片问题,也许我们用深度神经网络的结构可以较为简单的解决一定的问题。但是当应用在大尺寸的图片上,输入规模将变得十分庞大,使用神经网络将会有非常多的参数需要去学习,这个时候神经网络就不再适用。卷积神经网络在计算机视觉问题上是一个非常好的网络结构。2. 边缘...原创 2019-03-03 21:40:59 · 379 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week3 超参数调试、Batch 正则化和程序框架(编程作业)
Task :实现一个三层的TensorFlow神经网络:LINEAR->RELU->LINEAR->RELU->LINEAR->SOFTMAX。详见:https://blog.csdn.net/u013733326/article/details/79971488还有些地方没搞懂,假装自己完成了,向04. 卷积神经网络出发!!!...原创 2019-03-02 15:55:39 · 129 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week3 超参数调试、Batch 正则化和程序框架
1原创 2019-03-01 16:17:05 · 281 阅读 · 0 评论 -
02. 改善深层神经网络:超参数调试、正则化以及优化 —— week2 优化算法(编程作业)
任务分割数据集优化梯度下降算法:不使用任何优化算法mini-batch梯度下降法使用具有动量的梯度下降算法使用Adam算法详见吴恩达深度学习编程作业中文版连载笔记: https://blog.csdn.net/u013733326/article/details/79907419笔记太好,没有改写的欲望。...原创 2019-02-27 14:22:14 · 248 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 —— week2 优化算法
1. mini-batch 梯度下降算法在对整个训练集执行梯度下降法时,每进行一步梯度下降法都必须处理整个训练集。训练集很大的时候,如有500万或5000万训练数据时,处理速度就会比较慢。如果每次处理训练数据的一部分,即用其子集进行梯度下降,则我们的算法速度会执行的更快。而处理的这些一小部分训练子集即称为Mini-batch。1.1 算法原理:对于普通的梯度下降法,一个epoch只能进行...转载 2019-02-25 20:41:27 · 245 阅读 · 0 评论 -
02. 改善深层神经网络:超参数调试、正则化以及优化 —— week1 深度学习的实用层面(编程作业)
1 初始化参数尝试了三种初始化方法,比较分类和代价函数变化。全部初始化为0parameters['W' + str(l)] = np.zeros((layers_dims[l], layers_dims[l - 1]))算法性能差,运行过程中成本没有真正降低。分类失败,该模型预测每个都为0。通常来说,零初始化都会导致神经网络无法打破对称性,最终导致的结果就是无论网络有多少层,最终...原创 2019-02-24 11:47:28 · 342 阅读 · 0 评论 -
02. 改善深层神经网络: 超参数调试、正则化以及优化 —— week1深度学习的实用层面
内容涉及超参数调优,如何构建数据,以及如何确保优化算法快速运行,从而使学习算法在合理的时间内完成自我学习。1.1 训练、验证、测试集应用型机器学习是一个高度迭代的过程。创建高质量的训练集,验证集和测试集可以提高迭代的速度。我们通常将训练数据划分为三部分:训练集:用训练集对算法或模型进行训练过程。(交叉)验证集:交叉验证,选择模型。测试集:选定模型后,在测试集进行评估,获得模型运行的无偏...原创 2019-02-20 11:50:33 · 325 阅读 · 0 评论 -
01. 神经网络和深度学习 —— week4 深层神经网络 (编程作业)
初始化:def initialize_parameters_deep(layers_dims): """ 参数: layers_dims: 包含网络中每个图层的节点数量的列表 返回: parameters: 包含参数“W1”,"b1",...,"WL","bL"的字典 “Wl”:权重矩阵,维度为[layers_dims[l], ...原创 2019-02-11 21:41:58 · 292 阅读 · 0 评论 -
01. 神经网络和深度学习 ——week4 深层神经网络
4.1 矩阵的维数DNN结构示意图:对于第 lll 层神经网络,单个样本及各个参数的矩阵维度为:W[l]:(n[l],n[l−1])W^{[l]} : (n^{[l]},n^{[l-1]})W[l]:(n[l],n[l−1])b[l]:(n[l],1)b^{[l]} : (n^{[l]},1)b[l]:(n[l],1)dW[l]:(n[l],n[l−1])dW^{[l]} : (n^...转载 2019-02-10 22:48:19 · 276 阅读 · 0 评论 -
01. 神经网络和深度学习 —— week3浅层神经网络(编程作业)
1. 任务用一个隐含层的神经网络实现一个二分类。利用非线性的激活函数单元。计算交叉熵损失函数。实现向前传播和向后传播。2. 网络结构3. 建立神经网络的方法定义神经网络的结构(输入层,输出层,隐含层个数)。初始化模型参数。循环:—实现向前传播。—计算损失函数。—为了得到梯度值,实现向后传播。—更新参数(梯度下降)4. 代码import numpy as np...原创 2019-02-08 12:56:32 · 400 阅读 · 0 评论 -
01.神经网络和深度学习——week3 浅层神经网络
12原创 2019-02-01 20:01:48 · 330 阅读 · 0 评论 -
01.神经网络和深度学习——week2 神经网络基础(编程作业)
Part 1:Python Basics with Numpy (optional)1. Building basic functions with numpy1.1 Sigmoid function,np.exp()exe. Build a function that returns the sigmoid of a real number x. Use math.exp(x) for t...原创 2019-01-30 22:28:13 · 381 阅读 · 0 评论 -
01.神经网络和深度学习 —— week2 神经网络基础
2.1 二分类问题1. 两个问题实现神经网络如果遍历训练集,不需要用for循环;为什么神经网络的计算过程可以分为前向传播和后向传播;2. 给出几个符号及含义样本(x,y)(x,y)(x,y),训练样本包括m个;x∈Rnxx∈R^{n_{x}}x∈Rnx,表示样本x包含nxn_{x}nx个特征(hight * width * channel);y∈(0,1)y∈(0,1)y∈...原创 2019-01-29 19:33:30 · 271 阅读 · 0 评论