激活函数理解

已于 2022-04-12 12:04:54 修改
阅读量467 收藏
点赞数
分类专栏： 神经网络 文章标签： 神经网络
于 2022-04-12 12:04:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/twt10512/article/details/124120678
版权

GELU 激活函数

研究者表明，收到dropout、ReLU等机制的影响，它们都希望将不重要的激活信息规整为0，我们可以理解为，对于输入的值，我们根据它的情况乘上1或者0。

1还是0 得出 由 正态分布的概率分布函数决定。

概率分布函数是正态分布曲线的定积分，公式为：

正态分布曲线与x轴围成的面积是1(积分区间是负无穷到正无穷)即整个面积或者说最大面积为1。

x越大曲线与x轴围成的面积越多越趋近为1。

x越大曲线与x轴围成的面积越小越趋近为越趋近为0。

GELU = xF(x)

twt10512
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python深度学习】零基础掌握归一化和概率激活函数
Mr数据杨
04-07 64
通过本文的探索，可以看到归一化和概率激活函数在深度学习中的重要性。从简单的数据预处理到复杂的模型决策，这些技术的应用都是至关重要的。归一化保证了数据在模型中的公正处理，而概率激活函数则为模型输出提供了更丰富的信息层次。无论是在图像识别、语音识别还是其他类型的机器学习任务中，理解和正确应用这些函数都是实现高效、准确预测的关键。特别是在处理分类任务时，这些概率激活函数的作用不容小觑。它们不仅使模型能够选择“最可能”的类别，还提供了对这一选择的“自信度”评估，极大地增强了模型的实用性和可解释性。
tensorflow自定义激活函数实例
09-18
首先，我们需要理解为何单纯替换激活函数可能导致训练无法收敛。激活函数不仅影响网络的输出，还决定了网络的学习能力。例如，ReLU 函数在正区间的线性特性使得模型能够学习到稀疏特征，但若没有正确地定义梯度，...
激活函数(Sigmoid、Tanh、Relu以及Leaky Relu)
qq_43636375的博客
03-24 773
本文源自中国慕课网曹健老师《人工智能实践：Tensorflow笔记》一课听课笔记，课程地址：https://www.icourse163.org/learn/PKU-1002536002?tid=1452937471#/learn/content?type=detail&id=1229870565&sm=1 上图为一个简化神经元模型，以及其所对应的前向传播公式。可以看到，该模型是一...
常用的激活函数总结
q1540108857的博客
03-25 364
常用的激活函数总结常用的激活函数的总结1. Sigmoid 函数2. tanh函数3. ReLU函数4. ELU(Exponential Linear Uints)函数5. MaxOut 函数6.GeLU函数 常用的激活函数的总结 1. Sigmoid 函数 f(z)=11+e−z f(z)=\cfrac 1{1+e^{-z}} f(z)=1+e−z1​ 2. tanh函数 tanh(x)=ex−e−xex+e−x tanh(x)=\cfrac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x
深入理解激活函数之softmax
zhuguiqin1的专栏
09-21 9189
本篇文章将解释 softmax 函数，它与负对数似然（negative log-likelihood）的关系以及它在执行反向传播算法时的导数。 什么是 Softmax 函数 softmax 函数首先是一个函数，它将含有K 个实值的向量转换为 K 个总和为1的实值向量。向量的K个输入值可以是正数、负数、零或大于 1，但 softmax 能将它们转换为介于0 和 1，因此它们可以被解释为概率。如果其中一个输入较小或为负，则softmax将其变成小概率，如果输入较大，则将其变成大概率，但始终保持在0和1之间。 s
高斯分布&正态分布
YYY_77的博客
07-11 3万+
文章目录高斯分布定义高斯分布意义高斯分布的证明多元高斯分布 高斯分布又叫正态分布，是统计学中最重要的连续概率分布。研究表明，在物理科学和经济学中，大量数据的分布通常是服从高斯分布，所以当我们对数据潜在分布模式不清楚时，可以优先用高斯分布近似或精确描述。 遵循高斯分布的随机变量是假设在给定范围内的任何值，比如某小学学校学生的身高，它可以取任何值，但是会限制在0到2米范围内，这个限制是根据实际生活中强加的，但是在高斯分布中，没有随机变量这个范围限制，可以扩展到整个实数范围内，最终会得到一个很好的平滑曲线，这样的
用matlab画激活函数代码
最新发布
12-07
通过以上代码，我们可以清晰地看到这三种激活函数的形状特点，这有助于理解它们在不同场景下的应用选择。Sigmoid函数的平滑特性使其适用于概率输出，但可能面临梯度消失问题；ReLU函数的线性特性加速了训练，但可能...
DyReLU-master_动态激活函数_
10-04
在深度学习领域，激活函数是神经网络模型中的关键组成部分，它们为神经元引入非线性，使得模型能够处理复杂的数据模式。本项目“DyReLU-master”关注的是动态激活函数，这是一种相对较新的研究方向，旨在改进传统的...
21种激活函数的对比
06-09
### 激活函数概述与对比 ...通过对激活函数的理解和合理选择，可以显著提升模型的性能和泛化能力。未来的研究可能会继续探索更高效、更适应特定任务需求的激活函数，以进一步推动深度学习领域的发展。
深度激活函数中的tanh.zip
01-03
在神经网络中，激活函数是连接输入层与输出层的关键环节，它引入非线性，使得网络能够处理更复杂的模式。本主题将深入探讨一种常用...因此，理解并能正确实现Tanh这样的激活函数对理解和优化神经网络硬件系统至关重要。
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数...理解并掌握这些激活函数对于优化深度学习模型的性能至关重要。
激活函数_ancientzyb_神经网络激活函数代码_
10-03
本资源“激活函数_ancientzyb_神经网络激活函数代码_”包含了用于学习和实践的代码，以及相关的可视化图表，帮助你深入理解这些函数的工作原理和应用。 首先，我们来详细了解几种常见的激活函数： 1. **Sigmoid**...
23种激活函数示例及可视化代码
03-18
通过理解并选择合适的激活函数，可以显著提升模型的性能和训练效率。可视化代码可以帮助开发者直观地了解不同函数的输出形状，进而做出更好的选择。在实践中，还可以尝试结合多种激活函数，探索新的网络架构。
理解神经网络的激活函数
06-26
激活函数在神经网络中具有重要的地位，对于常用的函数如sigmoid，...在这篇文章中，SIGAI将和大家一起讨论这几个问题，以加深对激活函数的理解，如果对本文的观点持有不同的意见，欢迎向我们的公众号发消息一起讨论。
神经网络中各种激活函数的Python实现
11-22
本资源专注于各种激活函数的Python实现，并提供了可视化工具，便于理解这些函数的特性。这里我们将深入探讨几个常见的激活函数，包括ReLU、sigmoid、swish以及mish，并了解它们在实际应用中的优缺点。 首先，ReLU...
统计分析 -- 正态分布
Scp_blog的博客
10-24 7937
正态分布（normal distribution）又称Gauss分布（Gauss distribution ）,是以均数为中心，中间频数分布多，两侧逐渐减少的对称分布，由于频率的总和等于100%或1，故横轴上曲线下的面积等于100%或1。 正态分布曲线的数学函数表达式： X为连续随机变量，μ为X值的总体均数，σ2 为总体方差，记为X~N（μ,σ2） (1) 正态分布以均数μ 为中心，左右...
常用的激活函数Sigmoid,ReLU,Swish,Mish,GELU
liguiyuan的博客
07-01 1万+
Sigmoid激活函数在我们的网络模型中比较常用，也常作为二分类任务的输出层，函数的输出范围为（0,1）
标准正态分布面积（面积=比例=概率，不仅限于正态分布）
zhanghongxian123的专栏
09-02 9万+
对于一组数据，服从（均值0,1）
标准正态分布的积分怎么求？
热门推荐
图形跟班
08-24 14万+
标准正态分布的积分求解如下： x=rcosθ y=rsinθ 是二重积分极坐标代换 而dxdy，rdrdθ是积分分别在直角坐标系和极坐标系的面积元素 当重积分从直角坐标向极坐标转换的时候要乘上一个雅克比行列式的绝对值
30种神经网络激活函数详解：影响与应用
本文汇总了30种常见的神经网络激活函数，包括了25种配有时函数图像及其导数图像，以帮助理解和选择最适合特定任务的函数。 1. **阶跃函数（Step函数）**：起源于早期神经网络对人类神经元行为的模拟，输出仅在输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值