深度学习理论学习
深度学习领域各种理论学习
ZJ_Windy_Feng
这个作者很懒,什么都没留下…
展开
-
《吴恩达深度学习》05序列模型(第2周自然语言处理与词嵌入)
05. 序列模型第2周 自然语言处理与词嵌入2.1 词汇表征2.2 使用词嵌入2.3 词嵌入的特性2.4 嵌入矩阵2.5 学习词嵌入2.6 Word2Vec2.7 负采样2.8 GloVe 词向量2.9 情绪分类2.10 词嵌入除偏原创 2020-06-11 10:27:08 · 206 阅读 · 0 评论 -
《吴恩达深度学习》05序列模型(第1周 循环序列模型)
05. 序列模型第1周 循环序列模型1.1 为什么选择序列模型序列数据举例(1)语音识别(2)音乐生成(3)态度分类(4)DNA序列分析(5)机器翻译(6)视频动作识别(7)命名实体识别1.2 数学符号1.3 循环神经网络1.4 通过时间的方向传播1.5 不同类型的循环神经网络1.6 语言模型和序列生成1.7 对新序列采样1.8 带有神经网络的梯度消失1.9 GRU单元1.10 长短期记忆1.11 双向神经网络1.12 深层循环神经网络...原创 2020-05-25 08:49:36 · 2359 阅读 · 0 评论 -
《吴恩达深度学习》04卷积神经网络(第4周特殊应用:人脸识别和神经风格转换)
04. 卷积神经网络第4周 特殊应用:人脸识别和神经风格转换4.1 什么是人脸识别?人脸识别人脸验证vs.人脸识别(1)验证a. 输入图像,姓名或IDb. 输出图像是否是所生成的那个人(2)识别a. 数据库中有KKK个人b. 输出图像c. 输出ID(若为KKK个人之一)或未识别4.2 One-Shot学习one-shot学习通过一个样本进行学习,再次识别该人。学...原创 2020-05-06 08:45:28 · 322 阅读 · 0 评论 -
《吴恩达深度学习》04卷积神经网络(第3周 目标检测)
04. 卷积神经网络第3周 目标检测3.1 目标定位什么是定位和检测?(1)图片分类对给定图片进行标签预测(2)具有定位的分类对给定图片进行标签预测,并将目标定位出来。(3)检测图片中可能会有多个目标对象,甚至是多个类别的对象。具有定位的分类在图像分类的基础上,使网络进一步增加4维输出:bx,by,bw,bhb_x, b_y, b_w, b_hbx,by,bw,...原创 2020-04-27 09:01:01 · 314 阅读 · 0 评论 -
《吴恩达深度学习》04卷积神经网络(第2周深度卷积网络:实例探究)
04.卷积神经网络第2周 深度卷积网络:实例探究2.1 为什么要进行实例探究?概述(1)经典网络LeNet-5AlexNetVGG(2)ResNet(3)Inception2.2 经典网络LeNet-5(1)针对灰度图像。(2)输入:32×32×132\times 32 \times 132×32×1。(3)Conv1:f=5,s=1f=5, s=1f=5,s=1...原创 2020-04-23 09:58:06 · 224 阅读 · 0 评论 -
《吴恩达深度学习》04卷积神经网络(第1周卷积神经网络)
04. 卷积神经网络第1周 卷积神经网络1.1 计算机视觉计算机视觉问题(1)图像分类(2)目标检测(3)风格迁移大规模图片上的深度学习(1)以往的图片往往大小是64×64×364\times 64 \times 364×64×3的,即总特征数为12288。(2)若图片大小增加到1000×1000×31000 \times 1000 \times 31000×1000×3,则总...原创 2020-04-21 09:02:23 · 280 阅读 · 0 评论 -
《吴恩达深度学习》03结构化机器学习项目(第2周机器学习策略2)
03. 结构化机器学习项目第2周 机器学习策略22.1 进行误差分析以一个猫分类器为例评价思路假设现有方法分类器的准确率为90%,误差率为10%(假设其中某一类是狗的图片)。进行误差分析:(1)收集开发集中100个错误分类的的样本;(2)计算其中错分为猫的狗图片的数量。评估多个想法猫检测的想法:(1)狗和猫的区别(2)其他猫科动物(3)模糊图片浏览全部错误分类样本,记录上...原创 2020-04-20 09:00:48 · 172 阅读 · 0 评论 -
《吴恩达深度学习》03结构化机器学习项目(第1周机器学习策略1)
03. 结构化机器学习项目第1周 机器学习策略(1)1.1 为什么是ML策略启发示例(1)改进算法的基本方法:a. 收集更多的数据b. 收集更具有多样性的训练集c. 用梯度下降法更长时间的训练算法d. 用Adam替换梯度下降法e. 尝试更大的网络f. 尝试更小的网络g.尝试Dropouth. 增加L2L_2L2正则化i. 改变网络的结构(激活函数,隐藏层单元个数等)...原创 2020-04-10 08:51:13 · 204 阅读 · 0 评论 -
《吴恩达深度学习》02改善深层神经网络:超参数调优、正则化以及优化(第3周超参数调优、Batch正则化和程序框架)
02. 改善深层神经网络:超参数调优、正则化以及优化第三周 超参数调优、Batch正则化和程序框架3.1 调试处理超参数(1)常见参数:α,β,β1,β2,ϵ\alpha, \beta, \beta_1, \beta_2, \epsilonα,β,β1,β2,ϵ,层数,每层单元数,学习率衰减,mini-batch规模(2)重要性排名:a. α\alphaα, b. β\betaβ,...原创 2020-03-31 08:44:05 · 203 阅读 · 0 评论 -
《吴恩达深度学习》02改善深层神经网络:超参数调优、正则化以及优化(第2周优化算法)
02. 改善深层神经网络:超参数调优、正则化以及优化第二周 优化算法2.1 Mini-Batch 梯度下降法Batch 与 mini-batch 梯度下降(1) 向量化能够高效地处理m个样本(2) 将原有大规模数据集切割为同等大小的若干小规模子集,构成mini-batchmini-batch 梯度下降法2.2 理解mini-batch 梯度下降法mini-batch梯度下降训...原创 2020-03-30 09:00:59 · 168 阅读 · 0 评论 -
《吴恩达深度学习》02改善深层神经网络:超参数调试、正则化以及优化(第1周深度学习的实用层面)
02. 改善深层神经网络:超参数调试、正则化以及优化第一周 深度学习的实用层面1.1 训练、验证、测试集机器学习实践是一个高度迭代过程应用领域:NLP,CV,语音,结构化数据(广告,搜索,安全,物流)训练、验证、测试数据集训练、测试:70,30训练验证测试:60,20,20大数据背景下,验证、测试集所占比例更小。训练测试集分布不匹配要确保验证集和测试集来自同一分布即使没有测...原创 2020-03-30 07:57:25 · 245 阅读 · 0 评论 -
《吴恩达深度学习》01神经网络和深度学习(第4周深层神经网络)
01. 神经网络和深度学习第四周 深层神经网络4.1 深层神经网络什么是深度神经网络深度神经网络符号注释(1) LLL——层数(2) n[l]n^{[l]}n[l]——第l层节点数(3) a[l]a^{[l]}a[l]——第l层的激活函数(4)W[l]W^{[l]}W[l]——第l层的权重4.2 前向和反向传播第l层的前向传播输入:A[l−1]A^{[l-1]}A[l...原创 2020-03-30 07:54:35 · 157 阅读 · 0 评论 -
《吴恩达深度学习》01神经网络和深度学习(第3周浅层神经网络)
01. 神经网络和深度学习第三周 浅层神经网络3.1 神经网络概览z[i]z^{[i]}z[i]表示第i层3.2 神经网络表示神经网络的各部分名称输入层,隐藏层,输出层在计算神经网络层数时,仅计算隐藏层和输出层,不计算输入层。3.3 计算神经网络的输出隐藏层某个节点示意图z1[1]=w1[1]Tx+b1[1]z^{[1]}_1 = w^{[1]T}_1x+b^{[...原创 2020-03-30 07:52:54 · 171 阅读 · 0 评论 -
《吴恩达深度学习》01神经网络和深度学习(第2周神经网络基础)
01. 神经网络和深度学习第二周 神经网络基础2.1 二分分类图片在计算机中的保存:三通道(红,绿,蓝)X=[x(1),x(2),⋯ ,x(m)]X=[x^{(1)},x^{(2)},\cdots,x^{(m)}]X=[x(1),x(2),⋯,x(m)],每个列向量为一个样本。2.2 logistic回归给定xxx,目的是求y^=P(y=1∣x)\hat{y}=P(y=1|x)y...原创 2020-03-30 07:48:38 · 196 阅读 · 0 评论 -
《吴恩达深度学习》01神经网络和深度学习(第1周深度学习概论)
01 神经网络和深度学习第一周 深度学习概论1.1 欢迎一、学习内容神经网络和深度学习深度神经网络提升:超参调参,正则,优化结构化机器学习工程卷积神经网络自然语言处理:建立序列模型1.2 什么是神经网络一、房价预测样本分布示意图最简单的神经网络ReLU函数一个复杂的神经网络的示意1.3 用神经网络进行监督学习一、监督学习监督学习举例(1) 房...原创 2020-03-30 07:45:25 · 289 阅读 · 0 评论