学习笔记
weixin_38909710
这个作者很懒,什么都没留下…
展开
-
吴恩达深度学习课程学习笔记1
Mini-batch 梯度下降法: 假设原始数据集大小为m,将大数据集划分为多个子集对网络进行训练。两种极端情况:子集的大小为m,则就退化为batch梯度下降法;若子集大小为1,则为随机梯度下降法。 batch梯度下降法适用于小数据集,当数据集较大时,每次迭代需要处理大量样本,单次迭代耗时太长。随机梯度下降法虽单次迭代较快,但失去了向量化的加速。故实践中最好选择...原创 2019-09-09 20:19:45 · 78 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记9
词汇表征 One-hot表示法的一大缺点就是它把每个词孤立起来,这样使得算法对相关词的泛化能力不强。因此我们不用one-hot的表示方式,而是用特征化的表示来表示每一个词。我们学习这些词的特征和其数值化,如下图所示,假设有300个特征的话,这样每个词就用一个300维的向量表示。这样的话,意思相近的单词就会有相似的向量表示。对于不同的单词,这样会使算法泛化能力更好。 ...原创 2019-09-09 22:18:31 · 111 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记8
循环神经网络 对于序列问题为什么不选择标准的神经网络,是因为序列问题的输入和输出在不同的例子有不同的长度,不是所有的例子都有同样的输入长度或者同样的输出长度。即使每个句子有最大长度可以通过zero padding使每个输入语句达到最大长度,但看起来仍然不是一个好的表达方式。 而且,一个单纯的神经网络结构,它并不共享从文本不同位置上学到的特征。和卷积网络学到的类...原创 2019-09-09 22:06:19 · 114 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记7
人脸验证和人脸识别 人脸验证:输入一张图片和姓名/ID,验证这个人是否和他声称的身份相符。 人脸识别:有一个K个人的数据库,输入一张图片,如果这张图片是k个人其中之一,输出其ID。不是K个人之一时输出识别失败。 识别问题比验证问题难得多,假设你有一个验证系统,准确率是99%,表面上敢接还可以。但是当在识别系统中有K个人时,假设K=100。如果把...原创 2019-09-09 21:53:22 · 99 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记6
目标定位 顾名思义,就是判断object在图片中的位置,假设要定位的对象有行人、汽车、摩托车三种,吴恩达老师给出的做法是将图片输入CNNs,输出8维的值,分别是(表示存在对象的概率)、、、(分别是三种对象的概率)以及、、和(边框的中点坐标、宽和高)。例如y= [, , , , , , , ]。 在损失函数方面,可以如下设置,当的真实标签值为1时, 。...原创 2019-09-09 21:29:41 · 102 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记5
二维图像卷积操作 假设输入n×n图像,卷积核大小为f×f,则输出的图像大小为 。(先不考虑步幅和padding) 缺点:(1)每次做卷积操作,你的图像会缩小;(2)角落的像素点只被一个输出所触碰或使用。而中间的像素点会有很多f*f的区域与之重叠。 Padding 填充图像的边缘,习惯上用0填充。使用padding后卷积输出的图像大小为:...原创 2019-09-09 21:18:55 · 97 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记4
误差分析 首先收集一下比如说在猫检测中,选100个预测错误的开发集例子,然后手动检查你的开发集有多少预测错误的例子是狗的,这个数量决定了往这个方向优化的性能上限,然后根据这个值去估计这个方向有多少价值并且帮助你作出更好的决定。 对于数据上错误的标签,是否值得我们去修改? 事实证明,深度学习算法对于训练集中的随机误差是相当鲁棒的(只要那些标记错误的例子离随...原创 2019-09-09 21:03:37 · 101 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记3
训练集:用于训练模型; 验证集(开发集):用于调整模型超参数,验证不同算法、检验哪种算法更有效; 测试集:根据最终的分类器,正确评估分类器的性能。 正交化 正交是一种系统设计属性,它确保修改一条指令或算法的一个组件不会产生或传播副作用到系统的其他组件。独立地验证算法变得更加容易,减少了测试和开发时间。当设计监督学习系统时,这4个假设需要是真实和正交的: 系统在训练集...原创 2019-09-09 20:58:36 · 112 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记2
超参数中,有学习率、Momentum梯度下降法的β ,Adam算法的 、 和 、神经网络的层数、隐藏层神经元个数、学习率的衰减率、mini-batch的大小等。其中学习率最为重要,β ,隐藏层神经元个数,mini-batch的大小等次之。 调整超参数的两个原则: 随机取值:随机取值不意味着均匀随机地取值,有时还需要应用对数标尺。 由粗糙到精细:若发现某个范围内的某几个点表现不错,放大这...原创 2019-09-09 20:48:38 · 74 阅读 · 0 评论 -
吴恩达深度学习课程学习笔记10
Seq2seq 你可以把机器翻译想成是建立一个条件语言模型。下图中第一个模型是前两周所建立的模型,这个模型可以让你能够估计句子的可能性,这就是语言模型所做的事情,你可以用它来生成一个新的句子。而机器翻译模型就是下图中的第二个模型那样的,绿色部分表示encoder网络,紫色表示decoder网络,而decoder网络和上方的语言模型几乎一摸一样,机器翻译模型其实和语言模型非常相似,...原创 2019-09-09 22:28:03 · 114 阅读 · 0 评论