Deep Learning
福尔摩栋
I never guess, it is a shocking habit.
展开
-
Andrew Ng's deeplearning Course1Week2 Programming Questions(编程题)
Logistic Regression with a Neural Network mindsetBuild the general architecture of a learning algorithm, including:Initializing parametersCalculating the cost function and its gradientUsin原创 2017-10-21 10:33:28 · 1011 阅读 · 0 评论 -
Andrew Ng's deeplearning Course3Week2 ML Strategy2(结构化机器学习)
一、误差分析1.执行误差分析如何执行误差分析呢?我们可以将dev和test集里的错误标记进行人工整理,画张表,最后统计出各个错误的原因所占的比例,这花不了太长时间,但对改善效果可能会有很大帮助,毕竟去改善占比61%的错误总比花大量时间去解决占比8%的错误要来得高效。2.清除标记错误的例子有些例子并不是分类分错了,而只是因为某种原因把标记标错了,我们要根据这类错误所占的百原创 2017-11-30 22:36:28 · 527 阅读 · 0 评论 -
Andrew Ng's deeplearning Course4Week1 Convolutional Neural Networks(卷积神经网络)
一、计算机视觉深度学习帮助计算机视觉很好的发展,如无人驾驶车识别路上的行人和车辆,人脸识别,艺术风格迁移。如上图所示,深度学习在大图像上有一个问题,那就是维度。之前64*64*3的维度才12288,但是如果是1000*1000像素的大图片,那么维度就是3million,假设第一层有1000个隐藏单元,那么就是3billion。输入维度太大,在参数如此大量的情况下,难以获取足原创 2017-12-03 21:27:26 · 995 阅读 · 0 评论 -
Andrew Ng's deeplearning Course4Week2 Deep convolutional models(深度卷积网络:实例探究)
一、经典网络1.LeNet-5LeNet-5的结构为conv->pool->conv->pool->fc->fc->output。在LeCun写这篇论文的时候,这里的激活函数采用的是sigmoid和tanh,不过现在也可以使用ReLU。还有一个优点是参数相对来说不多。2.Alex-net AlexNet的结构为conv->pool->conv->pool->conv原创 2017-12-20 13:44:44 · 1223 阅读 · 0 评论 -
Andrew Ng's deeplearning Course2Week1 Practical aspects of Deep Learning(深层学习的实用层面)
1 深度学习的实用层面1.1 基础1.1.1 深度学习应用简述正如上图所说:深度学习的应用是一个高度迭代的过程,对于隐藏层的数量,隐藏单元数,学习率,激活函数这些该怎么选,我们其实心里并没有数,我们只有在一次次的选择和迭代过程中才能不断找到更好的,因此深度学习是一个高度迭代的过程。1.1.2 训练/开发/测试集的选择高质量的训练数据集、验证集和测试集可以有效的提高循环的原创 2017-11-12 15:30:12 · 417 阅读 · 2 评论 -
Andrew Ng's deeplearning Course4Week4 Special applications(特殊应用:人脸识别及神经风格转换)
一、人脸识别与验证1.什么是人脸识别人脸验证就是输入一个图片和姓名/ID,然后去数据库找这人的图像与当前图像进行匹配看看是不是同一个人。而人脸识别是有一个K个人图像的数据库,而输入仅仅只有一个图像,你就得去数据库中找哪个人最接近输入的这个图像,识别出来(或者没有这个人)。2.one-shot学习(一次学习)因为人脸识别只能通过一个样本来学习,因此我们需要解决的就原创 2017-12-24 19:03:05 · 629 阅读 · 0 评论 -
Andrew Ng's deeplearning Course 第1课、第2课、第3课、第4课、第5课课后练习题/编程题
吴恩达深度学习deeplearning第一课课后测验及编程作业(含答案):http://download.csdn.net/download/u012867545/10171710吴恩达深度学习deeplearning第二课课后测验及编程作业(含答案):http://download.csdn.net/download/u012867545/10172659吴恩达深度学习deeplearning第...原创 2017-12-27 10:20:20 · 3976 阅读 · 1 评论 -
Andrew Ng's deeplearning Course4Week3 Object detection(目标检测)
一、目标定位与特征点检测1.目标定位由上图可知,之前我们学习的是图片分类的问题,而图片分类的定位问题就是建立在图片分类的基础上的,而目标的检测又是在图片分类定位问题的基础上实现的。目标的定位的输入就是图片,经过一系列CONV,pool池化后最后输出一个形似如下的softmax,包含有4个值,包括目标的中心坐标(bx,by),目标的边界大小bh,bw。该如何定义输出变量y呢?y0也就是Pc的值为0~...原创 2017-12-22 23:04:14 · 678 阅读 · 2 评论 -
Andrew Ng's deeplearning Course5Week2 Natural Language Processing&Word Embeddings
一.词嵌入介绍1.词汇表征在之前,我们是根据单词在词汇表中的位置来表示单词的(one-hot),而这个方法有一个缺点。 在做如上图所示的迁移学习时,模型没法根据上一句的orange juice而判断得到下面一句apple的后面大概率也是juice。有一种方法能比较好的解决这个问题,那就是特征化的表示方法。 如上图所示,假设每个单词有300维,每一维代表的都是一个特征,里面的...原创 2018-03-14 23:14:47 · 701 阅读 · 0 评论 -
Andrew Ng's deeplearning Course5Week1 Recurrent Neural Networks(循环神经网络)
一、预备知识1.序列化例子 序列模型可以应用的例子有:语音识别、音乐生成、情感分类、DNA序列分析、机器翻译、视频行为识别、命名实体识别。2.数学符号 如上图所示:x是一行句子。x<t>x<t>x^{}表示第t个输入数据,索引不同的位置,如x<1>x<1>x^{}表示Harry,y<t>y<t>...原创 2018-03-13 21:17:16 · 463 阅读 · 0 评论 -
Andrew Ng's deeplearning Course3Week1 ML Strategy(结构化机器学习)
一、机器学习的策略什么是机器学习策略,机器学习的策略就是一些分析机器学习问题的方法。当你的模型精准度达到90%时,还不够好,你想让它更好,你可以选择收集更多的数据,尝试更大或更小的网络,尝试dropout,尝试调整各种参数,你的选择太多了,但你并不知道调整过后效果怎么样,可能花费几个月时间但是效果并没长进,有什么应对办法嘛,那就是正交化。正交化,对于那些知道正交化的人来说,他们原创 2017-11-30 13:50:51 · 357 阅读 · 0 评论 -
Andrew Ng's deeplearning Course2Week3 Hyperparameter tuning, Batch Normalization and Frameworks
一、超参数调试1.超参数的选择次序超参数的重要程度:1.α 2.β、hidden units、mini-batch size 3.layers、learning rate decay 4.β1、β2、ε(通常设为0.9,0.999,10^-8)2.超参数的选取(随机取值,精确搜索)假设我们的超参数1为学习率α,超参数2为ε,明显α的重要程度要大于ε,如果像上图左边的原创 2017-11-29 20:31:19 · 757 阅读 · 0 评论 -
Andrew Ng's deeplearning Course2Week2 Optimization algorithms(优化算法)
优化算法能帮助我们快速训练模型一、mini-batch梯度下降法1.batch vs mini-batch向量化能让你相对快速的处理m个样本,但是当m比较大时,例如5000000,速度可能就会比较慢了。因此,我们将m个样本切分成一块一块的,这就是mini-batch,而原先不切分的形式就是batch。X{t},Y{t}:我们用X{t}和Y{t}分别表示X和Y的第t块样本集。2.原创 2017-11-28 22:31:59 · 388 阅读 · 0 评论 -
Andrew Ng's deeplearning Course1Week1 Nerual Networks and Deep Learning(神经网络和深度学习)
Introduction to deeplearning1.深度学习介绍提到深度学习就不得不说到神经网络。那什么是神经网络呢?神经网络指一种有效的模拟大脑的学习算法。例1:单神经网络。根据房的大小来预测房价就是一个单神经网络,根据大小得出房价,中间的小圆圈就是单神经(single neuron),实现了一个ReLU函数功能。ReLU即rectified linear unit,即修正线性单元。(这...原创 2017-10-12 12:27:07 · 493 阅读 · 0 评论 -
Andrew Ng's deeplearning Course1Week2 Neural Networks Basics(神经网络基础)
2.1 二分2.1.1 举一个识别猫的例子输入一个图片,判别有猫或无猫,这就是一个简单的二分分类。为了将图片转换成一个特征向量,大家都知道图片由红绿蓝三个像素矩阵组成,假设这个矩阵是64*64的,我们将之重构(Python里面是用reshape这个方法),将三个矩阵合并为一个nx(nx即维度,nx=64*64*3)行1列的矩阵。(x,y)表示一个单独的样本,假设有m个训练集,那m个训练样本就是{(...原创 2017-10-19 22:08:55 · 807 阅读 · 0 评论 -
Andrew Ng's deeplearning Course1Week3 Shallow neural networks(浅层神经网络)
1.1 What is a neural network?最上面的是logistic回归的模型,把许多这种模型叠加起来就得到了一个neural network,就如同上图中的下半部分。第一层是一个logistic回归,第二层也是一个logistic回归。在上图的neural network模型中,第0层x1,x2,x3为输入层,中间的为隐藏层,最后的为输出层。我们把它叫作2原创 2017-11-10 20:07:34 · 348 阅读 · 0 评论 -
Andrew Ng's deeplearning Course1Week4 Deep neural network(深层神经网络)
4 深层神经网络4.1 深层神经网络概述正如上图中所示,logisitic regression是一个浅层的模型,当隐藏层的数量足够多的时候,我们就说这是一个深层的神经网络。4.2 深层神经网络中的前向传播和前面的浅层神经网络一样,每一层计算z[L] = W[L] * a[L-1] + b[L], a[L] = g[L](z[L]),最终得到y帽。将其向量化后就原创 2017-11-11 11:00:46 · 496 阅读 · 1 评论 -
Andrew Ng's deeplearning Course5Week3 Sequence models & Attention mechanism
一. 基础模型编码-解码 如图中所示,输入一个法语句子,然后将其转换为英语句子。我们设定一个RNN结构的编码器和解码器,先将输入的法语句子编码为一个向量,再通过解码器将其转换为英语句子。图像描述 图像描述,顾名思义就是给出一幅图片,然后根据图片给出相应的描述。我们将之前RNN中学到的AlexNet结构最后的softmax层去掉,前面的就是类似于一个编码网络,可以将图片编码成一个...原创 2018-03-20 22:02:57 · 395 阅读 · 0 评论