深度学习基础：激活函数选取

最新推荐文章于 2024-07-12 14:41:53 发布
最新推荐文章于 2024-07-12 14:41:53 发布
阅读量526 收藏 10
点赞数 8
分类专栏： 机器学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36998146/article/details/135839610
版权
本文探讨了激活函数在神经网络中的重要性，如S型（Sigmoid,Tanh）、ReLU及其变体、Maxout以及自动搜索的Swish。同时，介绍了良好的参数初始化方法，如随机初始化、标准初始化、Xavier初始化（适用于Sigmoid和Tanh）和MSRA初始化（适用于ReLU）以优化网络性能。
摘要由CSDN通过智能技术生成

背景

如果没有选取激活函数，那么神经网络的层数的累积还是线性的；但选取激活函数后，神经网络具有非线性的性质。

激活函数种类

S型激活函数 （Sigmoid, Tanh）

“加班”激活函数（ReLU, Leaky ReLU, ELU,  GELU）

ReLU (可能会陷入Dead)

ELU 计算量较大

Maxout激活函数

自动搜索激活函数（Swish）

参数初始化 

好的参数初始化：各层激活值不能为0，也不会出现饱和；每层的权重方差、梯度与层数无关，会更加有利于优化。

简单的初始化方法：随机初始化 np.random.randn(n)；标准初始化（配合归一化）等

Xavier初始化：课程的激活值和梯度的方差在传播过程中保持一致，适合Sigmoid，Tanh函数

MSRA初始化：适合ReLU

代码只写一遍
关注
专栏目录
【深度学习】GELU激活函数是什么？
q742971636的博客
06-17 1504
应用 GELU 激活函数。GELUxx⋅ΦxGELUxx⋅Φx其中Φx\Phi(x)Φx是标准正态分布的累积分布函数。
PyTorch 基础：Tensor（张量）-谢TS的博客.pdf
07-17
在PyTorch中，Tensor（张量）是其核心数据结构，它被广泛用于构建和训练深度学习模型。PyTorch是由Facebook开发的开源深度学习框架，它支持CPU和GPU加速计算，使得处理大规模数据变得更加高效。Tensor可以视为一个...
PyTorch学习笔记：nn.GELU——GELU激活函数
qq_50001789的博客
02-18 4633
PyTorch学习笔记：nn.GELU——GELU激活函数 出自论文《GAUSSIAN ERROR LINEAR UNITS (GELUS)》 - 相比于ReLU，GELU函数在临近原点时梯度不为零，减少了训练过程中梯度消失的问题； - 导函数比较光滑，无间断情况，容易做反向传播； - RELU计算复杂度较低，同时具有良好的性能，常用于大规模训练的任务，例如BERT、GPT等等。
机器学习知识
最新发布
Norles的博客
07-12 585
因为下采样会丢失信息，为了减少信息的损失，第一种方法可以利用模型融合的方法（bagging）：多次下采样（放回采样，这样产生的训练集才相互独立）产生多个不同的训练集，进而训练多个不同的分类器，通过组合多个分类器的结果得到最终的结果。XGBoost采用的是level-wise的分裂策略，而lightGBM采用了leaf-wise的策略，区别是XGBoost对每一层所有节点做无差别分裂，可能有些节点的增益非常小，对结果影响不大，但是XGBoost也进行了分裂，带来了务必要的开销。这会导致梯度更稳定。
【PyTorch】教程：torch.nn.GELU
03-16 6615
高斯误差线性单元函数。
torch.nn.GELU
tianyunlinger的博客
08-16 9560
m = nn.GELU() input = torch.randn(2) output = m(input) 误差函数图 在数学中，误差函数(亦称高斯误差函数)，通常表示为ERF，是一个复变量的复函数，定义为： erf⁡z=2π∫0ze−t2 dt.\displaystyle \operatorname {erf} z={\frac {2}{\sqrt {\pi }}}\int _{0}^{z}e^{-t^{2}}\,dt.erfz=π​2​∫0z​e−t2dt. 这个积分是特殊(非-初等) s.
深度学习笔记(二)——激活函数原理与实现
InkBamboo920的博客
04-22 2801
深度学习笔记(二)——激活函数原理与实现 闲聊 昨天详细推了下交叉熵，感觉还可以，今天继续加油。 ReLU 原理 定义：ReLU是修正线性单元(rectified linear unit),在0和x之间取最大值。 出现原因：由于sigmoid和tanh容易出现梯度消失，为了训练深层神经网络，需要一个激活函数神经网络，它看起来和行为都像一个线性函数，但实际上是一个非线性函数，允许学习数据中的复杂关系 。该函数还必须提供更灵敏的激活和输入，避免饱和。而ReLU是非饱和激活函数，不容易发生梯度消失。 def R
用pytorch构造GELU激活函数
aihaiming2013的专栏
06-23 1790
因为一些原因必须使用python2+低版本的pytorch来跑代码，其中就遇到了低版本pytorch没有封装GELU激活函数的情况，所以在网上把该函数的源码找到了，自己构造了一个基于nn.Module的版本： 其中第一个注释掉了的return是gelu原文中提出的一种近似计算版本，而下面那一个是pytorch中封装的版本，实测第一种会和nn.GELU计算的值略有差异，因此使用第二种。...
Python深度学习项目实战与案例分析.md
08-18
通过定义层结构、设置激活函数等方式，即可创建一个完整的神经网络。此外，TensorFlow还支持模型保存和恢复功能，便于后期复用已训练好的模型。 ##### 3.2 模型训练与优化 **编译与训练模型** 在正式训练模型之前...
《深度学习及应用》-课程教学大纲.docx
06-04
1. 深度学习基础 - 学习内容：介绍深度学习的历史、重要性及其在人工智能中的地位。 - 教学要求：理解深度学习的基本概念，包括神经网络的构成和工作原理。 2. 神经网络与反向传播 - 学习内容：深入理解全连接...
gluon_tutorials_zh动⼿学深度学习1
08-03
《动手学深度学习1》是针对深度学习初学者的一份教程，主要介绍了使用MXNet的Gluon接口进行深度学习模型构建与训练的基础知识。本教程涵盖了从基本概念到实践技巧，以下是其中的关键知识点的详细解释： **1. 深度...
【深度学习】扩散模型的原理及实现（Pytorch）
fengdu78的博客
03-04 1284
上文我们介绍了OpenAI Sora 文生视频模型再次震撼了AI 圈，并提到了Sora模型实际上是一个扩散模型+Transformer，本文继续讲述扩散模型的发展、原理及代码实践。扩散模型的导火索，是始于2020 年所提出的DDPM（Denoising Diffusion Probabilistic Model）。在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看现有生成式人工...
GELU激活函数
木盏
10-18 1万+
GELU是一种常见的激活函数，其图像与ReLU、ELU对比如下： 文章链接：https://arxiv.org/pdf/1606.08415.pdf
深入理解卷积神经网络的参数初始化、过拟合解决方案及数据增强技术
C17875478487的博客
03-14 1695
本文探讨了卷积神经网络的参数初始化、过拟合问题及其解决策略，和数据增强技术。强调了使用Xavier和Kaiming方法进行权重初始化的重要性，讨论了过拟合的成因以及通过数据增强提高模型泛化能力的方法。
激活函数：GELU（Gaussian Error Linear Units）
FriendshipTang的博客
04-18 2673
PyTorch、人工智能、深度学习、激活函数
常用激活函数(relu,glu,gelu,swish等)
cdLiang的博客
02-22 1万+
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
GELU 激活函数
热门推荐
乐享极客
04-16 9万+
Gaussian Error Linerar Units(GELUS) 论文链接：https://arxiv.org/abs/1606.08415 最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。 不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus > Relu > Sigmoid ...
GELU
jacke121的专栏
12-30 4601
GELU 这个函数特别占内存,计算量很大，对检测有帮助,收敛比relu6快 但是最高精度没有relu6高 梯度最大在第一层卷积层 类： #!/usr/bin/env python3 # -*- coding: utf-8 -*- import torch import math from torch import nn from torch.nn import functiona...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值