常见激活函数汇总

已于 2024-02-26 15:30:01 修改
阅读量172 收藏
点赞数 3
文章标签： 计算机视觉 机器学习 人工智能
于 2024-02-26 15:27:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43446879/article/details/136300541
版权
本文介绍了SiLU（SigmoidLinearUnit）作为一种常见的激活函数，其在神经网络模块(nn.Module)中的静态方法forward中使用sigmoid函数进行线性变换。
摘要由CSDN通过智能技术生成

常见激活函数

1. SiLU

在这里插入图片描述

class SiLU(nn.Module):
    @staticmethod
    def forward(x):
        return x * torch.sigmoid(x)
DBY9909
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
常见激活函数的汇总
D0644727的博客
11-14 222
激活函数 tf.nn.sigmoid(x) 相当于对数据进行归一化， 但是在实际应用过程中，他的导数在0-0.25之间，并且他在多级级联的时候会造成梯度的消失，因此在实际应用过程中很少应用。 并且逆运算为指数，在反向传播过程中耗时 tf.math.tanh(x) tf.nn.relu() 反向传播过程中会出现由于出现负数不能激活神经元，导致其“死亡”的情况。 tf.nn.leak_relu(x) 初学者的激活函数的选择建议： 1.首选relu激活函数 2.学习率设置较小的值 3.输入特征标准化，即让
个人笔记-常见激活函数汇总
tree307的博客
05-30 1446
双曲正切函数，相比于Sigmod，其输出中心到了0点（相当于Sigmod平移拉伸），取值范围。归一化将输入标准化到均值为0，方差为1的标准正态分布上，取值范围。一般取很小，0.01、0.1之类的。可扩大ReLU的取值范围。图片来源：http://t.csdnimg.cn/ZbuW2。，相比于argmax保留了较小分数部分的概率。小于0的部分用指数计算，接近自然梯度。分段斜坡函数，只取正值，取值范围。适用于多分类问题，取值范围。
激活函数汇总
qq_59815419的博客
04-19 1038
特点：Softmax 函数可视为 Sigmoid 函数的泛化形式， 其本质就是将一个 K 维的任意实数向量压缩（映射）成另一个 K 维的实数向量， 其中向量中的每个元素的取值范围都介于 [ 0 ， 1 ] [0，1][0，1] 之间(可以理解为概率)。也就是说，相比于早期的激活函数，Softplus函数和ReLU函数更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。和 Tanh一样，它是反对称的、零中心、可微分的，值域在-1到1之间。
神经网络常见的激活函数汇总
热门推荐
donkey_1993的博客
08-14 2万+
1.激活函数的作用 在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。 比如在下面的这个问题中： 如上图所示，这是一个简单的线性分类问题，只需要一条直线就可以很好地分类。当我们碰到下图问题时，无法通过一条直线将样本分类出来，需要我们加入非线性因素才可以将样本分类好，而我们的激活函数就是我们要加入的非线性因素。 2.常见的激活函数...
常用的激活函数
weixin_50644076的博客
02-28 1524
激活函数（Activation Function）是一种添加到人工神经网络中的函数。其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。
激活函数汇总及各优缺点
WGS.
08-23 5155
激活函数汇总及各优缺点 文章目录激活函数汇总及各优缺点1. 什么是激活函数2. 激活函数作用3.激活函数特性4.常用激活函数4.1 sigmoid4.2 tanh4.3 ReLU，P-ReLU, Leaky-ReLU4.8 softmax函数softmax函数和sigmoid异同 1. 什么是激活函数 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 2. 激活函数作用 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输
tf常见的激活函数（Activation Functions ）汇总
Bubbliiiing的学习小课堂
07-20 1万+
tf常见的激活函数汇总常见的激活函数种类及其图像1 sigmoid(logsig)函数2 tanh函数3 relu函数4 softplus函数tensorflow中损失函数的表达1 sigmoid(logsig)函数2 tanh函数3 relu函数4 softplus函数 激活函数在机器学习中常常用在神经网络隐含层节点与神经网络的输出层节点上，激活函数的作用是赋予神经网络更多的非线性因素，如果不用...
机器学习领域常用激活函数汇总
qq_40128284的博客
08-01 568
前言 这篇博客简介了一些常见的激活函数，并简要总结了每个激活函数的缺点。 部分常见激活函数一览图： sigmoid 表达式： 导数： sigmoid激活函数图像如下： 下面我们来看看sigmoid激活函数有哪些缺点： 在饱和区域存在梯度缺失的问题。 sigmoid是一个非零中心的函数。 表达式较为复杂，计算复杂度高。 这里详细介绍第二个缺点，我们知道在NN的训练过程中，正向传播得到损失值会和反向传播得到偏导数做积，以此获得下一次更新的梯度，而非..
常见激活函数概览
不犹豫~不后悔
06-19 195
常见激活函数概览1、激活函数的用处2、常见激活汇总3、选择合适的激活函数的建议4、常见激活函数图形 1、激活函数的用处 有助于提取重要信息，过滤不相干信息。不使用激活函数的神经网络本质上是线性回归模型。 该过程其实就是通过加权来影响对应神经元的操作。 公式： y = Activate(∑(wx)+b)，这里的输出不一定是最终模型的 输出，而是层(layer)的输出。此过程也就是前向传播。(反向传播就是利用 经验误差更新参数的过程) 2、常见激活汇总 激活函数 表达式 (一阶)导数 备注
MATLAB常见问题汇总
09-29
### MATLAB常见问题汇总 #### 良好的编程习惯与初始化命令 在编写MATLAB脚本时，保持良好的编程习惯非常重要。通常，在程序文件的开头添加一些初始化命令可以帮助清理环境，确保程序在一个干净的状态下运行。以下是...
运维常见选择题汇总一百多道
04-08
### 运维常见选择题汇总知识点解析 #### Shell部分知识点详解 **1. 变量赋值方式** - **直接赋值**: 在Shell脚本中，最常用的变量赋值方式是直接赋值，例如 `name=12`，这种方式简单明了。 - **使用read命令**: ...
传递函数文档
07-27
逻辑函数是一种常见的传递函数类型，尤其在二元分类问题中广泛使用。其中，最经典的逻辑函数是Sigmoid函数和阶跃函数。Sigmoid函数，也称为logistic函数，其数学表达式为： \[ f(x) = \frac{1}{1 + e^{-x}} \] ...
人工智能神经网络模型汇总
09-13
激活函数是神经元的关键，它将输入与权重的加权和经过非线性转换后输出，常见的激活函数有比例函数（y = f(x) = s）和Sigmoid函数。这些函数使得神经元可以模拟生物神经元的激活与抑制过程。 感知器是最早的人工...
《Framelet based blind motion deblurring from a single image》
m0_74102890的博客
08-07 636
这篇论文的标题是《Framelet based blind motion deblurring from a single image》，作者是 Jian-Feng Cai, Hui Ji, Chaoqiang Liu 和 Zuowei Shen。论文主要研究了如何从一张由于相机抖动导致运动模糊的图像中恢复出清晰的图像，这是数字成像领域中一个长期存在的挑战性问题。摘要(Abstract)：引言(Introduction)：相关工作(Previous work on blind deconvolution)：
＜数据集＞轮椅识别数据集＜目标检测＞
最新发布
qq_53332949的博客
08-10 141
YOLO与VOC格式的轮椅识别数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，类别：WheelChair，图片数量5223
Augmentation for small object detection
qq_43578042的博客
08-07 546
我们对MS COCO数据集上的当前最先进模型Mask-RCNN进行了分析。我们发现小物体的ground-truth与预测的锚框之间的重叠远远低于预期的IoU阈值。我们推测这是由两个因素造成的：（1）只有少数图像包含小物体，（2）即使在包含小物体的每个图像中，小物体也没有足够的出现次数。因此，我们提出对那些包含小物体的图像进行过采样，并通过多次复制粘贴小物体来增强每个图像。
论文理解【CV-目标检测】——【YOLO-V1】You Only Look Once: Unified, Real-Time Object Detection
佚失的诗篇
08-07 778
首先简介了CV领域的主流任务，然后对最重要的目标检测算法之一YOLO-V1进行了详细介绍
30种神经网络激活函数详解：影响与应用
本文汇总了30种常见的神经网络激活函数，包括了25种配有时函数图像及其导数图像，以帮助理解和选择最适合特定任务的函数。 1. **阶跃函数（Step函数）**：起源于早期神经网络对人类神经元行为的模拟，输出仅在输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值