deeplearning.ai
文章平均质量分 80
叫什么就是什么
大学生程序员
展开
-
神经网络基础
二分分类二分分类问题指数据样本的标签只有两种的分类问题。比如给出一张图片,判断图片的动物是否是猫。如果这张图片大小为64*64,颜色通道为RGB,那么可以定义这张图片的特征向量为所有像素的组合,特征向量的长度为3*64*64。定义二分分类问题使用的数学符号。对于某个样本(x,y)(x,y)(x, y),x∈Rnxx∈Rnxx \in R^{n_x}是样本的特在向量,y∈{0,1}y∈{0,...原创 2018-07-02 22:50:39 · 520 阅读 · 0 评论 -
深度卷积网络实例分析
为什么要进行实例分析如何组合卷积层、池化层和全连接层形成一个卷积网络,许多人在一开始接触卷积网络是没有任何头绪。想要找到感觉,应该学习和分析已经设计好的卷积网络。经典的卷积网络有LeNet,AlexNet,VGG。还有ResNet(残差网络),有152层。还有Inception。这些已经设计好的卷积网络会提供你设计卷积网络的技巧和灵感。经典网络LeNetLe...原创 2018-07-22 17:36:35 · 1329 阅读 · 0 评论 -
卷积层的梯度
第l层的卷积操作的一个简单的例子,s=1: ⎡⎣⎢⎢⎢⎢⎢⎢a[l−1]0a[l−1]4a[l−1]8a[l−1]12a[l−1]1a[l−1]5a[l−1]9a[l−1]13a[l−1]2a[l−1]6a[l−1]10a[l−1]14a[l−1]3a[l−1]7a[l−1]11a[l−1]15⎤⎦⎥⎥⎥⎥⎥⎥∗⎡⎣⎢⎢⎢f[l]0f[l]3f[l]6f[l]1f[l]4f[l]7f[l]2f[...原创 2018-07-21 19:09:43 · 1855 阅读 · 0 评论 -
卷积神经网络
计算机视觉计算机视觉可以应用到许多问题中,比如图片分类器,物体检测,图片风格转化。目前计算机视觉发展得非常迅速,这些问题都能够得以解决。以前使用神经网络对图像进行分类,使用的图像都比较小,比如64*64*3,特征向量长度有12288,这个特征向量已经很大了。我们更希望能对大的图像进行分类,但是图像大小是1000*1000*3,特征向量长3000000,对应的神经网络就非常大,这就很容易出现...原创 2018-07-21 19:07:38 · 313 阅读 · 0 评论 -
自然语言处理与词嵌入
词汇表特征有一个词典,里面有10000个单词。使用one-hot的表示方法,每个单词的表示向量有10000个元素,单词对应的位置为1,其他位置为0。比如,单词”Man”在词典的5391位,那么”Man”的表示向量为⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢0⋮1⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥[0⋮1⋮0]\begin{bmatrix} 0 \\ \vdots \\ 1 \\ \vdots \\ 0 \end{bmatr...原创 2018-07-29 22:11:50 · 1939 阅读 · 0 评论 -
循环序列模型(RNN)
为什么选择序列模型序列模型可以用于处理序列数据。序列数据的例子有 在语音识别中,输入的是语音序列,输出的是对应的句子。 在音乐生成中,输入的是音乐风格或者无,输出的是音乐序列。 在感情分类中,输入的是带有感情的句子,输出的是个人对电影的评价。 在DNA序列分析中,输入DNA片段,输出的是DNA片段对应的名字。 在机器翻译中,输入翻译内容,输出翻译结果。 在视频动作识别中,输入视...原创 2018-07-28 23:12:17 · 1446 阅读 · 0 评论 -
机器学习策略2
进行误差分析当你的学习算法的性能达到理想性能的90%时,找不到改进的方法,可以使用人工误差分析的方法来分析学习算法的瓶颈。假设有一个猫分类器,它的分类精度达到90%了,有10%的误差,可以分析这10%的误差,看看什么产生这10%的误差。分析开发集中被错误标记的样本,发现狗被错误识别为猫。我们可能想新建一个项目,用来识别被错误识别的狗的图片。花费好几个月的时间来实现新的项目是否对猫分类器有大...原创 2018-07-13 22:56:44 · 555 阅读 · 0 评论 -
机器学习策略1
为了改善机器学习系统,我们有许多改善机器学习系统的方法,比如增加更多的训练集,修改神经网络的结构等等。如果没有机器学习策略,只是随便使用这些优化方法,那么机器学习系统可能毫无改进。漫无目的地改进机器学习,不如有针对性地改进机器学习。我们需要机器学习策略来指导我们如何改进机器学习系统。下面来了解一些机器学习策略。正交化搭建机器学习系统的挑战之一是你可以尝试和改变的东西太多了,比如有那么多...原创 2018-07-13 22:53:15 · 981 阅读 · 0 评论 -
人脸识别和神经风格转换
人脸识别人脸识别是一个很有趣的卷积神经网络的应用。来看看人脸验证和人脸识别的区别。人脸验证系统输入的是一张图片和某个人的名字或ID,输出的是图片是否是这个人。在人脸识别中,系统有K个人的数据库,输入一张图片,如果图片是这K个人中的一个,就输出这个人的ID。One-Shot学习人脸识别面临的一个问题是One-Shot学习(一次学习问题)。只有一张图片,用这张图片进行学习,这就是O...原创 2018-07-24 13:23:35 · 273 阅读 · 0 评论 -
目标检测
目标检测是计算机视觉领域中一个新兴的应用方向。目标定位 图像分类是对图像进行分类,比如判断图像中是否是车。定位分类不仅要图片分类,而且需要确定目标在图像中的哪个位置。目标检测中要识别的对象不仅仅只有一个,目标检测要识别图像中多个对象。自动驾驶需要用到目标检测技术。给出一张汽车行驶中的图片 我们需要判断图中1-是否有行人,2-是否有车,3-是否有摩托车,4-图片是否只是背景图...原创 2018-07-23 23:52:53 · 2516 阅读 · 0 评论 -
超参数调试、Batch归一化和程序框架
调试处理不同的超参数,有不同的考虑优先等级,吴恩达的经验如下。 第一优先级的超参数:学习率αα\alpha。 第二优先级的超参数:Momentum的ββ\beta,神经网络每层的单元数(hidden units),mini-batch的子训练集大小(mini-batch size)。 第三优先级的超参数:神经网络的层数(layers),学习衰减率(learning rate decay)...原创 2018-07-10 01:05:38 · 262 阅读 · 0 评论 -
优化算法
使用优化算法可以加快神经网络的训练过程。Mini-batch使用所有训练集进行一次梯度下降的方法叫做Batch梯度下降法。当训练集数量非常巨大时,Batch梯度下降法就变慢了,这时可以使用Mini-batch梯度下降法,Mini-batch梯度下降法比Batch梯度下降法快。Mini-batch梯度下降法把训练集平均分成T个子集{(X{1},Y{1}),(X{2},Y{2}),⋯,...原创 2018-07-10 01:00:25 · 496 阅读 · 0 评论 -
深度学习的使用层面
训练/开发/测试集神经网络有许多超参数,比如神经网络的层数,每层的神经元数量,学习率,激活函数等等。需要不断地尝试不同的值,选择其中表现效果最好的超参数。应用机器学习是一个高度迭代的过程。首先有一个想法,然后编码调试实现,最后得到表现效果。根据表现效果,修改这个想法,可能是修改神经网络的结构,也可能是使用另外一个学习率,然后重新实现这个想法。如此迭代下去,直到学习模型达到理想的表现效果。...原创 2018-07-10 00:52:55 · 262 阅读 · 0 评论 -
深层神经网络
深层神经网络浅层神经网络和深层神经网络的主要区别在于隐藏层的多少。隐藏层的层数越多,神经网络越深。深层神经网络的一些符号定义: LLL: 神经网络的层数 n[l]n[l]n^{[l]}: 第lll层的神经单元个数 a[l]=g[l](z[l])a[l]=g[l](z[l])a^{[l]} = g^{[l]}(z^{[l]}): 第lll层的激活函数 W[l]W[l]W^{[l]}:...原创 2018-07-02 23:18:55 · 1525 阅读 · 0 评论 -
浅层神经网络
神经网络概览下面是一个两层的神经网络模型 使用[i][i][i]表示神经网络的第i层。学习的内容就是正向传播和反向传播。神经网络表示下面是一个双层神经网络 最左边的是输入层,输入的是特征向量;中间层是隐藏层,因为对训练集来说,这一层是不可见的;最后一层是输出层。输入层又称为第0层,特征向量x又表示为a[0]a[0]a^{[0]}。从隐藏层的第一层开始计算层数,在本例子中使用...原创 2018-07-02 22:57:37 · 932 阅读 · 0 评论 -
深度学习概论
什么是神经网络这里给出一个简单的例子。给出房子的大小和实际价格,然后给出房子的大小,预测房子价格,如图 使用回归思想可以解决这个问题。再添加一个约束:房子价格不能为负数。这个过程可以使用下图表示: 房子大小x是输入,房子价格y是输出,中间的圆圈是计算过程,在神经网络中表示一个神经元,神经元计算的结果要通过激活函数,从而能够约束输出的数据满足一些条件,这里可以使用ReLU函数...原创 2018-07-02 22:42:30 · 653 阅读 · 0 评论 -
集束搜索、注意力模型和音频模型
基础模型序列到序列类型的模型有翻译模型,描述图片模型等。在一个翻译模型中,需要把一门语言的文字翻译成另外一门语言的文字,如下图把法文翻译成英文 翻译模型使用多对多类型的RNN,前一部分相当于编码器,后一部分相当于解码器。描述图片的模型如下 该模型使用AlexNet模型对图片进行编码,然后接上RNN模型,输出对该图片的描述。选择最可能的句子机器翻译可以当成建立一个条件...原创 2018-07-31 23:14:03 · 574 阅读 · 0 评论