![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
改善深层神经网络
MoonLord0525
这个作者很懒,什么都没留下…
展开
-
机器学习策略(下篇)
进行误差分析如果我们希望让机器学习算法能够胜任人类能做的任务,但我们的机器学习算法没有达到人类的表现,那么人工检查一下我们的机器学习算法犯的错误能够让我们了解接下来应该做什么,这个过程称为误差分析。误差分析实例 开发集中算法识别错误的例子 Image 狗图 大型猫科动物 模糊图片 评价 1 Y .原创 2020-06-18 22:11:49 · 170 阅读 · 0 评论 -
机器学习策略(上篇)
正交化要完善一个监督学习系统,通常需要调整系统的参数。我们要确保四件事情:必须确保至少系统在训练集上得到不错的结果。所以训练集上的表现必须通过某种评估,达到能接受的程度。对于某些系统,可能意味着达到人类水平的表现。 确保系统在开发集上有好的表现。 确保系统在测试集上有好的表现。 确保系统的成本函数在实际使用中表现令人满意。正交化过程如果算法不能很好地拟合训练集,我们希望有一组独立的“旋钮”用来确保我们可以调整我们的算法,使它很好地拟合训练集,这组“旋钮”可以是训练更大的网络或者切换更好的原创 2020-06-17 21:38:49 · 231 阅读 · 1 评论 -
Softmax回归
Softmax回归前述所有分类的例子都使用了二分分类,这种分类只有两种可能的标记,0或1。有一种logistic回归的一般形式,叫做Softmax回归,能够让我们在识别多种分类中的一个,不只是识别两个分类。图 1训练集假设不单需要识别猫,而是想要识别猫、狗和小鸡。我们把猫叫做类1,狗为类2,小鸡是类3,如果不属于以上任何一类就分到“其他”即类0。我们用符号C表示我们的输入被分入的类别总个数。图 2 带Softmax层的神经网络在上述例子中,输出层的单元数量一般而言等于C,..原创 2020-06-16 00:11:06 · 166 阅读 · 0 评论 -
Batch正则化
正则化网络的激活函数在深度学习兴起后,最重要的一个思想是它的一种算法叫做batch归一化。Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定。对logistic回归进行归一化输入特征,帮助我们更有效的训练w和b。对一个深层网络而言,如果我们可以归一化z[2],同样会更有效的帮助我们训练w[3]和b[3]。图 1 batch归一化通过上述处理,我们使得z的每一个分量都含有平均值0和方差1.但我们不想让隐藏单元总是含有平均值0和方差1,也许隐藏单元有了不同的.原创 2020-06-15 23:36:59 · 522 阅读 · 0 评论 -
超参数调试
调试处理神经网络的改变会涉及到许多不同超参数的设置。实验表明,一些超参数比其它的更为重要。学习率α是需要调试的最重要的超参数。momentum中的β,隐层中的单元数以及mini-batch的大小是其次比较重要的。重要性排第三位的是层数,学习率衰减。在使用Adam算法是β1、β2以及ε通常使用默认值。在深度学习领域,我们通常随机选择点,接着用这些随机点试验超参数的效果。因为对于要解决的问题而言,很难提前知道哪个超参数最重要。我们使用随机取值而不是网格取值表明,我们研究了更多重要超参数的潜在值。原创 2020-06-15 19:56:19 · 481 阅读 · 1 评论 -
深度学习的优化算法
Mini-batch梯度下降法什么是Mini-batch梯度下降法在对整个训练集执行梯度下降法时,我们必须处理整个训练集,然后才能进行一步梯度下降法。然后需要再重新处理整个训练集才能进行下一步梯度下降法。如果在处理完整个训练集前先让梯度下降法处理一部分,算法的速度会更快。我们可以把训练集分割为小一点的子训练集,这些子集被取名叫Mini-batch。对x的训练集和y的训练集都需作相应的拆分,分别使用符号x{t}和y{t}表示其中第t个子集。我们来解释一下Mini-batch算法的名称。batc原创 2020-06-15 16:06:17 · 391 阅读 · 0 评论 -
深度学习的实用层面
训练/验证/测试集应用型机器学习是一个高速迭代的过程,需要多次循环才能为应用程序找到一个称心的神经网络。项目启动时,我们会有一个初步想法,然后编码并尝试运行这些代码,通过运行和测试得到该神经网络以及配置信息的运行结果,最后可能会根据结果重新完善自己的想法或者更新自己的方案。图 1循环效率是决定项目进度的一个关键因素,而创建高质量的训练数据集、验证集和测试集也有助于提高循环效率。我们通常会将数据集划分为几个部分,一部分作为训练集,一部分作为简单交叉验证集,最后一部分作为测试集。接下来我.原创 2020-06-14 21:22:13 · 198 阅读 · 0 评论