激活函数总结（十一）：激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)

最新推荐文章于 2024-03-20 16:42:31 发布
最新推荐文章于 2024-03-20 16:42:31 发布
阅读量599 收藏 2
点赞数 2
分类专栏： 深度学习 文章标签： 机器学习 深度学习 人工智能 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132211226
版权
本文详细介绍了三种不常见的激活函数：Absolute激活函数，其特点是无梯度消失但线性特性可能限制某些任务表现；Bipolar激活函数，简单且稳定，但表达能力有限；Bipolar Sigmoid激活函数，结合了双极性和连续可微性，但在深层网络中可能遇到饱和问题。这些激活函数在现代神经网络中应用较少。
摘要由CSDN通过智能技术生成

激活函数总结（十一）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
专栏目录
订阅专栏
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7801
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
激活函数总结（十六）：激活函数补充(SReLU、BReLU)
走在深度学习前沿的小宋
08-22 717
本文为前面介绍的激活函数进行了一些激活函数补充，包括：SReLU、BReLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：当前两种函数均不怎么使用，但是会在特殊情况下产生不错的效果。。。。
【DL经典回顾】激活函数大汇总（二十九）（Bipolar Sigmoid附代码和详细公式）
最新发布
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-20 340
Bipolar Sigmoid激活函数作为Sigmoid函数的一个变体，在很多关于神经网络和深度学习的文献中可能被提及，尤其是在探讨不同激活函数及其应用时。本博客重点介绍这个激活函数。
【DL经典回顾】激活函数大汇总（二十四）（Absolute附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-19 423
Absolute激活函数，即绝对值函数，在深度学习和神经网络的文献中通常被视为一个基本的数学操作，而不是特别设计的激活函数。本博客重点介绍这个激活函数。
收集一下核函数-Kernel Function
__Career Path ... __In Meredith Life
07-27 4036
本文转载自： 收集一下核函数-Kernel Function | 丕子 原文地址：http://www.shamoxia.com/html/y2010/2292.html转载请声明出处，O(∩_∩)O谢谢~Kernel FunctionsBelow is a list of so
技术图文：如何利用 C# 实现 误差反向传播 学习规则？
老马的程序人生
06-29 1663
背景 我们在 如何利用 C# 对神经网络模型进行抽象？ 中完成了神经网络的抽象结构： 三个接口：激活函数、有监督学习、无监督学习 三个抽象类：神经元、网络层、网络拓扑 我们在 如何利用 C# 实现神经网络的感知器模型？ 中对神经网络的结构进行了扩展，完成了感知器神经网络： 实现了三个接口：利用符号函数和阈值函数实现激活函数接口；利用感知器学习规则实现有监督学习接口。 覆写了三个...
激活函数总结（三十）：激活函数补充(Logit、Softsign)
走在深度学习前沿的小宋
09-08 543
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Logit、Softsign等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Logit和Softsign虽然简单，但是很少会使用到。。。。
激活函数总结（十二）：三角系列激活函数补充(Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh)
走在深度学习前沿的小宋
08-18 1478
本文为前面介绍的激活函数进行了三角系列激活函数补充，包括：Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：虽然这些激活函数结构都很简单，但是在当前的环境中很少用到！！这里仅帮助大家对相关的激活函数进行一定的了解！！！
[深度学习]什么叫激活函数
henku449141932的博客
07-29 4572
1.激活函数的定义 我们看百度百科对激活函数的定义： 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。 可以看出，激活函数主要的两个特性： 在人工神经网络上运行的函数，既然是一个函数，就能够普通的函数一样使用。 把非线性特性引入网络中，简单说就是激活...
神经网络
weixin_30249203的博客
12-20 133
学习链接： http://www.cnblogs.com/heaad/archive/2011/03/07/1976443.html 上文（链接）中已经将神经网络的基本原理总结详尽，本文主要描述常见的神经网络模型。 artificial neuron, threshold, bias, active function/transfer function, net activation, M...
Deep Learning基础--26种神经网络激活函数可视化
weixin_30832143的博客
09-21 2404
在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的激活函数（identity、sigmoid、ReLU 及其变体）。 下面是 26 个激活函数的图...
几种常见的激活函数
MachineLP的专栏
09-30 8万+
你要的答案或许都在这里：小鹏的博客目录 MachineLP的Github（欢迎follow）：https://github.com/MachineLP 本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy & Justin Johnson联合开设的Convolutional Neural Networks for Visual Recognit...
深度学习：激活函数
皮皮blog
05-04 3万+
激活函数神经网络神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 为什么要用激活函数神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
sigmoid函数_神经网络多步径流预报的Sigmoid传递函数比较
weixin_39728124的博客
12-08 271
作者：H. Yonaba: Ph.D. Candidate, Dept. of Civil Engineering, Université Laval.F . Anctil:Professor, Dept. of Civil Engineering, Université Laval.V. Fortin:Researcher, Environment Canada, Canadian...
绝对值函数abs、fabs等的使用
cbNotes的专栏：不积硅步，无以至千里;不积小流，无以成江海!
08-29 4万+
求数字的绝对值，vc++提供的库函数的支持，当必须包含：#include 其中又分好几种类型：abs、_abs64、fabs、fabsf、labs、_cabs。详细说明如下： //Calculate the absolute value. int abs( int n ); long abs( long n ); // C++ only double abs
理解神经网络的激活函数
SIGAI_CSDN的博客
06-18 5551
本文及其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造，自2019年1月出版以来已重印3次。 书的购买链接 书的勘误，优化，源代码资源 更多干货请关注V X公众号：SIGAI更多干货请关注V X公众号：SIGAI导言 激活函数在神经网络中具有重要的地位，对于常用的函数如sigmoid，tanh，ReLU，不少读者...
常用激活函数/损失函数/代价函数
Less is More
08-22 1088
激活函数 Logistic Softmax Relu 损失函数
几种常见激活函数(笔记整理)
u010513327的博客
02-26 3万+
活函数是神经网络中非线性的来源，因为如果去掉这些函数，那么整个网络就只剩下线性运算，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型. (1)Sigmoid函数 左端趋近于0，右端趋近于1，且两端都趋于饱和. 关于函数饱和解释:参考https://www.cnblogs.com/tangjicheng/p/9323389.html 如果我们初始化神经网络的权值为 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值