深度学习笔记——深度学习技巧

最新推荐文章于 2024-03-14 23:02:56 发布
最新推荐文章于 2024-03-14 23:02:56 发布
阅读量396 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li8zi8fa/article/details/77413340
版权
本文介绍了深度学习中常见的问题及其解决方案，包括过拟合、梯度消失现象及如何提升模型在测试数据集上的效果。建议使用ReLU激活函数避免梯度消失，探讨了maxout激活函数的原理与应用，同时提出早停、正则化（L1和L2）以及dropout策略来增强模型的泛化能力。
摘要由CSDN通过智能技术生成

1、模型在训练数据上表现不好，why？

（1）过拟合

（2）激活函数

（3）学习率

2、梯度消失？

   盲目增加网络层数很容易导致发生梯度消失现象，尤其是使用sigmoid作为激活函数的时候。sigmoid函数的特点使得权重很大的改变对输出产生很小的影响，当层数很多时这种影响甚至可以忽略不计。在权重更新环节，靠近输出端的权重梯度较大，靠近输入端的权重梯度很小，这使得后端权重更新的很快、很快就收敛，而前端却更新的很少，好像梯度在向后传播的过程中消失了一样，这就是梯度消失现象。





避免梯度消失发生的方法之一是使用ReLU作为激活函数

最低0.47元/天 解锁文章
千君一发
关注
专栏目录
可学习激活函数 Maxout
数字人生
07-16 748
假设输入是向量x，通过权重矩阵W_i和偏置向量b_i进行线性变换，对于某一层的第i个神经元，`Maxout` 函数的定义如下：其中：x是输入向量。W_i是第i个线性变换的权重矩阵。b_i是第i个线性变换的偏置向量。k是一个超参数，表示我们允许的线性变换的数量。
深度学习笔记（1）——感知机
01-06
接触深度学习的第一个概念就是感知机，感知机是与门、或门的逻辑电路，是一种判别模型。常见的感知机分为与门、或门、非与门。 通过感知机，相当于是用一条直线将空间进行了划分。 二、几种感知机 1. 与门（and_gate...
机器学习中的数学——激活函数（九）：Maxout函数
冯·诺依曼
10-06 2万+
Maxout函数来源于ICML上的一篇文献《Maxout Networks》，它可以理解为是神经网络中的一层网络，类似于池化层、卷积层一样。我们也可以把Maxout函数看成是网络的激活函数层，我们假设网络某一层的输入特征向量为：x=(x1,x2,⋯ ,xd)x=(x_1, x_2, \cdots, x_d)x=(x1​,x2​,⋯,xd​)，也就是我们输入是ddd个神经元。Maxout函数的输出如下： Maxout(x)=max⁡(ωixi+bi)\text{Maxout}(x)=\max{(\omega
激活函数maxout
August-us的博客
03-18 4万+
激活函数maxout系列文章：   maxout函数相对于其他的激活函数有很大的区别，可以看做是在神经网络中激活函数的地方加入一个激活函数层。maxout可以看做是一个可学习的分段线性函数，因为可学习所以是需要参数的，而且参数是可以通过反向传播来学习的。因为参数量的增大，势必导致计算量的增大。   传统的神经网络从第i层输入到第i+1层，只需要训练一组权重参数，这些参数决定了上一层输入到到达这一层...
激活函数(ReLU, Swish, Maxout)
mjiansun的专栏
01-09 4065
神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。 ReLU(Rectified Linear Unit,修正线性单元) softplus函数与ReLU函数接近,但比较平滑, 同ReLU一样是单边抑制,有宽广的接受域(0,+inf), 但是由于指数运算,对数运算计算量大的原因,而不太被人使用.并且从一些人的使用经验来看(Glorot et al.(2011a)),效果也并不...
ReLU激活函数,Maxout
小肥柴YD的博客
07-29 472
梯度消失 在使用sigmoidsigmoidsigmoid激活函数进行梯度下降调参时，往往会出现梯度消失的问题，即无法找到收敛点。 神经网络主要的训练方法是BP算法，BP算法的基础是导数的链式法则，也就是多个导数的乘积。而sigmoidsigmoidsigmoid的导数最大为0.25，且大部分数值都被推向两侧饱和区域，这就导致大部分数值经过sigmoidsigmoidsigmoid激活函数之后，其...
神经网络中常见的激活函数
我相信......
09-25 5524
深度学习中已经成为了人工智能领域的必备工具，源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。寻找隐藏层的权重参数和偏置的过程，就是常说的“学习”过程，其遵循的基本原则就是使得网络最终的输出误差最小化。在神经⽹络中，激活函数是必须选择的众多参数之⼀，从而使神经⽹络获得最优的结果和性能。经常用到的激活函数有哪些呢？如何进行选择呢？关于激活函数激活函数（Activation Fun...
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
本篇学习笔记主要关注如何在Tensorflow2.0环境下开始深度学习的学习和实践。 【深度学习基础知识回顾】 在开始实战前，对深度学习的基础知识进行回顾是必要的。这包括神经网络的基本概念、反向传播算法、损失函数...
Maxout 激活函数与 Max-Feature-Map (MFM)
Haulyn5的博客
02-03 1000
本文介绍 maxout 激活函数以及 A Light CNN for Deep Face Representation With Noisy Labels 一文中提到的 MFM，一种 maxout 变体。
卷积神经网络（一）：常见的激活函数以及其意义
Fire_Light_的博客
03-13 3万+
激活函数的意义： 在生物意义上的神经元中，只有前面的树突传递的信号的加权和值大于某一个特定的阈值的时候，后面的神经元才会被激活。 简单的说激活函数的意义在于判定每个神经元的输出 有没有达到阈值。 放在人脸识别卷积神经网络中来思考，卷积层的激活函数的意义在于这一块区域的特征强度如果没有达到一定的标准，就输出0，表明这种特征提取方式（卷积核w）不能在该块区域提取到特征，或者说这块区域的这种...
深度学习（二十三）Maxout网络学习
热门推荐
hjimce的专栏
12-27 5万+
Maxout网络学习 Maxout是深度学习网络中的一层网络，就像什么激活函数层、池化层、卷积层一样。我们假设网络某一层的输入特征向量为：X=（x1,x2,……xd），也就是我们输入是d个神经元。Maxout隐藏层每个神经元的计算公式如下： 上面的公式就是maxout隐藏层神经元i的计算公式。其中k就是maxout层所需要的参数了，由我们人为设定大小。就像dropout一样，也有自己的参数p(每个神经元dropout概率)，maxout的参数是k。公式中Z的计算公式为：
Deep learning：四十五(maxout简单理解)
weixin_34226706的博客
11-18 341
  　　maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了start-of-art的识别率。 　　从论文中可以看出，maxout其实一种激发函数形式。通常情况下，如果激发函数采用sigmoid函数的话，在前向传播过程中，隐含层节点的输出表达式为：  ...
【DL经典回顾】激活函数大汇总（八）（Maxout & Softmin附代码和详细公式）
最新发布
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-14 1107
对于Maxout，由于其在提出后不久就在多个任务上显示出优异性能，因此它在深度学习社区中得到了广泛的关注和应用，特别是在图像识别和语言模型中。Softmin函数虽然在实践中使用不如Softmax广泛，但在需要关注较小值或者在配合Softmax函数使用以获得更全面的概率分布处理时，Softmin提供了一个有用的工具。本博客介绍这两个激活函数。
机器学习与深度学习系列连载： 第二部分 深度学习（八）可以自己学习的激活函数（Maxout）
Doctor Wu的博客
11-04 678
可以自己学习的激活函数（Maxout） 在深度学习中激活函数有sigma， tanh， relu，还有以后会将到的selu，但是有没有一个激活函数不是人为设定的，是机器学出来的呢？对抗网络（GAN）之父Goodfellow，给我们一个肯定的答案。Learnable activation function [Ian J. Goodfellow, ICML’13] 我们以两个输入的input举例，当然...
激活函数之maxout
gentelyang的博客
08-11 7271
https://blog.csdn.net/hjimce/article/details/50414467 这篇博客讲的很好，以后再整理。
Maxout激活函数
data+scenario+science+insight
05-23 870
Maxout激活函数 maxout激发函数，则其隐含层节点的输出表达式为： 这里的W是3维的，尺寸为d*m*k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每个隐含层节点对应了k个”隐隐含层”节点，这k个”隐隐含层”节点都是线性输出的，而maxout的每个节点就是取这k个”隐隐含层”节点输出值中最大的那个值。因为激发函数中有了max操作，所以整个maxout网络也是一种非线性的变换。 下图可以帮你直观的认识什么是maxout激活函数(下图中k=3)...
人工智能入门：从机器学习到深度学习笔记
"这是一份关于机器学习和深度学习的学习笔记，适合初学者，内容包括人工智能的基本概念、开发环境的搭建、基础工具包的使用以及Jupyter Notebook的界面优化和编码入门。" 在这份笔记中，作者首先介绍了人工智能的两...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值