深度学习笔记——深度学习技巧

最新推荐文章于 2024-05-01 16:09:07 发布
最新推荐文章于 2024-05-01 16:09:07 发布
阅读量399 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li8zi8fa/article/details/77413340
版权
本文介绍了深度学习中常见的问题及其解决方案，包括过拟合、梯度消失现象及如何提升模型在测试数据集上的效果。建议使用ReLU激活函数避免梯度消失，探讨了maxout激活函数的原理与应用，同时提出早停、正则化（L1和L2）以及dropout策略来增强模型的泛化能力。
摘要由CSDN通过智能技术生成

1、模型在训练数据上表现不好，why？

（1）过拟合

（2）激活函数

（3）学习率

2、梯度消失？

   盲目增加网络层数很容易导致发生梯度消失现象，尤其是使用sigmoid作为激活函数的时候。sigmoid函数的特点使得权重很大的改变对输出产生很小的影响，当层数很多时这种影响甚至可以忽略不计。在权重更新环节，靠近输出端的权重梯度较大，靠近输入端的权重梯度很小，这使得后端权重更新的很快、很快就收敛，而前端却更新的很少，好像梯度在向后传播的过程中消失了一样，这就是梯度消失现象。





避免梯度消失发生的方法之一是使用ReLU作为激活函数

最低0.47元/天 解锁文章
千君一发
关注
专栏目录
可学习激活函数 Maxout
数字人生
07-16 760
假设输入是向量x，通过权重矩阵W_i和偏置向量b_i进行线性变换，对于某一层的第i个神经元，`Maxout` 函数的定义如下：其中：x是输入向量。W_i是第i个线性变换的权重矩阵。b_i是第i个线性变换的偏置向量。k是一个超参数，表示我们允许的线性变换的数量。
【DL经典回顾】激活函数大汇总（八）（Maxout & Softmin附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-14 1111
对于Maxout，由于其在提出后不久就在多个任务上显示出优异性能，因此它在深度学习社区中得到了广泛的关注和应用，特别是在图像识别和语言模型中。Softmin函数虽然在实践中使用不如Softmax广泛，但在需要关注较小值或者在配合Softmax函数使用以获得更全面的概率分布处理时，Softmin提供了一个有用的工具。本博客介绍这两个激活函数。
卷积神经网络（一）：常见的激活函数以及其意义
Fire_Light_的博客
03-13 3万+
激活函数的意义： 在生物意义上的神经元中，只有前面的树突传递的信号的加权和值大于某一个特定的阈值的时候，后面的神经元才会被激活。 简单的说激活函数的意义在于判定每个神经元的输出 有没有达到阈值。 放在人脸识别卷积神经网络中来思考，卷积层的激活函数的意义在于这一块区域的特征强度如果没有达到一定的标准，就输出0，表明这种特征提取方式（卷积核w）不能在该块区域提取到特征，或者说这块区域的这种...
深度学习（二十三）Maxout网络学习
hjimce的专栏
12-27 5万+
Maxout网络学习 Maxout是深度学习网络中的一层网络，就像什么激活函数层、池化层、卷积层一样。我们假设网络某一层的输入特征向量为：X=（x1,x2,……xd），也就是我们输入是d个神经元。Maxout隐藏层每个神经元的计算公式如下： 上面的公式就是maxout隐藏层神经元i的计算公式。其中k就是maxout层所需要的参数了，由我们人为设定大小。就像dropout一样，也有自己的参数p(每个神经元dropout概率)，maxout的参数是k。公式中Z的计算公式为：
1. 深度学习笔记--神经网络中常见的激活函数
最新发布
weixin_42035282的博客
05-01 1420
每个激活函数的输入都是一个数字，然后对其进行某种固定的数学操作。激活函数给神经元引入了非线性因素，如果不用激活函数的话，无论神经网络有多少层，输出都是输入的线性组合。激活函数的意义在于它能够引入，使得神经网络可以拟合非常复杂的函数，从而提高了神经网络的表达能力和预测性能。激活函数的发展经历了Sigmoid -> Tanh -> ReLU -> Leaky ReLU -> Maxout这样的过程，还有一个特殊的激活函数Softmax，因为它只会被用在网络中的最后一层，用来进行最后的分类和归一化。
机器学习与深度学习系列连载： 第二部分 深度学习（八）可以自己学习的激活函数（Maxout）
Doctor Wu的博客
11-04 681
可以自己学习的激活函数（Maxout） 在深度学习中激活函数有sigma， tanh， relu，还有以后会将到的selu，但是有没有一个激活函数不是人为设定的，是机器学出来的呢？对抗网络（GAN）之父Goodfellow，给我们一个肯定的答案。Learnable activation function [Ian J. Goodfellow, ICML’13] 我们以两个输入的input举例，当然...
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
本篇学习笔记主要关注如何在Tensorflow2.0环境下开始深度学习的学习和实践。 【深度学习基础知识回顾】 在开始实战前，对深度学习的基础知识进行回顾是必要的。这包括神经网络的基本概念、反向传播算法、损失函数...
激活函数之maxout
gentelyang的博客
08-11 7275
https://blog.csdn.net/hjimce/article/details/50414467 这篇博客讲的很好，以后再整理。
深度学习笔记--激活函数：sigmoid，maxout
Chaolei3的博客
12-22 1万+
在神经网络中引入激活函数一个重要的原因就是为了引入非线性。1.sigmoid从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小。从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。 函数形式为。它的优点是输出范围为(0, 1)，所以可以用作输出层，用输出值来表示概率。也叫做
Maxout Networks
LYKymy的博客
08-02 316
Abstract 我们考虑设计模型的问题，以利用最近引入的称为丢失的近似模型平均技术。 我们定义了一个名为maxout的简单新模型（之所以如此命名，因为它的输出是一组输入的最大值，因为它是丢失的自然伴随），旨在通过丢失促进优化，并提高丢失的快速近似模型平均值的准确性 技术。 我们凭经验验证模型是否成功完成了这两项任务。 我们使用maxout和dropout来展示四种基准数据集的最新分类性能：MN...
Maxout的深入理解
pandav5的专栏
03-24 4855
转之：http://www.cnblogs.com/tornadomeet/p/3428843.html
神经网络激活函数汇总（Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout）
热门推荐
兔角与禅
04-22 6万+
神经网络激活函数汇总（Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout） 常规 sigmoid 和 tanh sigmoid 特点：可以解释，比如将0-1之间的取值解释成一个神经元的激活率（firing rate） 缺陷： 有饱和区域，是软饱和，在大的正数和负数作为输入的时候，梯度就会变成零，使得神经元基本不能更新。 只有...
深度学习maxout单元
Rookiekk
10-03 3128
    今天学习深度学习看到整流线性单元及其扩展里的maxout单元，感觉这个有点东西，书中讲的不是特别详细，在此记录一下学习到的东西。参考了http://www.cnblogs.com/tornadomeet 一、相关理论     maxout出现在ICML2013上:《Maxout  Networks》,作者Goodfellow将maxout和dropout结合后，号称在MNIST, C...
【激活函数】Softmax 和 Maxout 激活函数
Next_SummerAgain的博客
01-10 493
已经有前辈撰写关于讲解这两个激活函数并且通俗易懂的文章了，本人在此就不赘述，链接奉上，内容值得细细品读。
深度学习基础--loss与激活函数--maxout
wydbyxr的博客
11-19 325
maxout   maxout是一种激活函数。   整个maxout网络也是一种非线性的变换；maxout的拟合能力是非常强的，它可以拟合任意的的凸函数。最直观的解释就是任意的凸函数都可以由分段线性函数以任意精度拟合。   缺点是这个算法参数个数会成k倍增加(k是maxout的一个参数)。   它并不是一个固定的函数，没有一个固定的函数方程；它是一个可学习的激活函数，因为我们W参数是学习变化的。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值