深度学习
文章平均质量分 93
Archv
这个作者很懒,什么都没留下…
展开
-
5.序列模型
文章目录一、循环序列模型1.序列模型2.循环神经网络模型3.不同类型的神经网络4.语言模型和数量生成5.对新序列采样6.GRU单元与LSTM单元6.双向神经网络一、循环序列模型 序列模型可以用于语音识别,音乐发生器,情感分类,DNA序列分析,机器翻译,视频动作识别,命名实体识别等方面,这些序列模型大都是无监督学习。1.序列模型 以语音识别为例子,给定输入的音频片段X,有输出的文字Y。这个例子里输入和输出都是序列数据。因为X是一个音频片段,Y是一系列文字。 实际上,序列问题有很多不同该类型的情原创 2021-07-16 22:34:53 · 401 阅读 · 0 评论 -
4.卷积神经网络
文章目录一、卷积神经网络1.计算机视觉2.边缘检测一、卷积神经网络1.计算机视觉 计算机视觉的任务是图像分类,目标检测,神经网络转换。所谓的神经网络转换是指将一张图片以另一种风格呈现出来: 处理机器视觉有一个特点,那就是输入层的维度很大,可以达到300万甚至更大,这使得神经网络的结构很复杂,且因为训练数据相对不足导致过/欠拟合,也因此造成所需内存及计算量增大。2.边缘检测 最常见的图片边缘检测有两类,分别是水平和垂直边缘检测。图片的边缘检测可以用过滤波器进行卷积来实现。 假设有一个原创 2021-07-12 22:53:54 · 695 阅读 · 0 评论 -
3.机器学习策略
文章目录优化策略正交化方法优化策略 当我们训练一个模型时,可以使用很多方法优化模型,比如收集更多不同的训练集,梯度下降训练算法,尝试亚当而不是梯度下降,尝试更大的网络,尝试更小的网络,尝试退出,添加L2正则化等等,方法很多,如何选择正确的方法很重要。正交化方法 正交化方法就是指只调一个参数,保持其他参数不变,使得模型的某一个性能改变的一种方法。...原创 2021-07-10 22:42:00 · 478 阅读 · 0 评论 -
2.改善深层神经网络:超参数调试、正则化及优化(3)
三、超参数调试、Batch正则化和编程框架1.调试超参数 在训练神经网络时有许多需要调整的超参数,比如学习率,神经网络层数,隐藏神经元个数以及各种不同算法的参数。但每一个超参数的重要性是不一致的,重要性排名要根据实际情况分析。 将每一个参数的取值作为一个维度,实际的超参数取值就是一个多维空间里的一点,我们可以在这片多维空间里随机取点,然后实验这些点的参数表现。因为一开始我们难以知道哪些超参数是比较重要的,因此随机取点要优于固定取点。同时,我们可以寻找表现比较好的点区域,缩小范围随机取点,最后获得最原创 2021-07-09 22:40:58 · 216 阅读 · 0 评论 -
2.改善深层神经网络:超参数调试、正则化及优化(2)
文章目录二、优化算法1、mini-batch 梯度下降2、指数加权平均二、优化算法1、mini-batch 梯度下降 mini-batch 梯度下降是为了应对训练数据量很大的情况,其原理是分组梯度下降。比如说有500000个数据,就可以将数据分为100组每只,每组5000个数据,用这些数据对神经网络进行前向传播,代价值计算和反向传播迭代5000次,这就是一个mini-batch的迭代。在进入下一个子代迭代前,最好先打乱数据,选出一个新的mini-batch,这样有利于训练效果。 有两种比较极端的原创 2021-07-07 22:47:21 · 92 阅读 · 0 评论 -
2.改善深层神经网络:超参数调试、正则化及优化(1)
文章目录一、深度学习的实用层面1.数据集2.过拟合处理3.标准化输入一、深度学习的实用层面1.数据集 一般我们会将神经网络的数据集分成训练集(train set),验证集(dev set),测试集(test set)。一般我们要成功训练一个神经网络,难以在一开始就定下合适的超参数。我们可以先通过经验设置一个参数,再通过实验查看这个参数下训练的效果,最后对参数进行调整。如此循环,最后设定最佳的参数值。 一般来说,三个分类集的比例是6:2:2,但在数据集很大(比如大于一百万)的时候通常不需要这么大得原创 2021-07-06 23:08:15 · 174 阅读 · 0 评论 -
1.神经网络和深度学习
文章目录1.深度学习概论1.神经网络模型2.神经网络的兴起2.神经网络基础3.浅层神经网络1.激活函数2.为什么要用非线性函数作为激活函数3.反向传播4.随机初始化4.深层神络经网1.神经网络计法2.为什么使用深层神经网络3.搭建神经网络块4.参数与超参数1.深度学习概论1.神经网络模型 神经网络模型大部分属于监督学习。根据不同的问题需要用到不同的神经网络模型,比如说对于图像处理用卷积神经网络模型,对处理语音等信号时用循环神经网络,有时需要用到混合神经网络。2.神经网络的兴起 如图所示,在数原创 2021-07-04 20:14:05 · 471 阅读 · 0 评论