激活函数总结（四十七）：激活函数补充(Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting)

最新推荐文章于 2024-10-01 23:50:13 发布
最新推荐文章于 2024-10-01 23:50:13 发布
阅读量400 收藏 3
点赞数 3
分类专栏： 深度学习 文章标签： 机器学习 深度学习 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132875441
版权
本文深入介绍了两种不常见的激活函数：Adaptive Spline Activation Function (ASAF) 和 Adversarial Soft Advantage Fitting (ASAF)，探讨它们在神经网络和强化学习中的作用。ASAF提供了一种可训练的解决方案，适用于软件和硬件实现，而ASAF则用于模仿学习，简化了算法复杂度，提高了效率。尽管这两种函数各有优势，但适用环境有限，使用时需注意。
摘要由CSDN通过智能技术生成

激活函数总结（四十七）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
专栏目录
订阅专栏
激活函数总结（四十六）：激活函数补充(Nipuna、StarReLU)
走在深度学习前沿的小宋
09-28 345
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Nipuna、StarReLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Nipuna具有一定的效果，但是不会很常见。。。而StarReLU激活函数可以在深度学习领域广泛使用，具有很好的效果，有需要的小伙伴可以尝试使用，，，
MetaFormer-3
whaosoft143ai的博客
10-31 716
本文介绍的这两篇文章为领域带来了全新的视角，即：视觉 Transformer 一般性的宏观架构，而不是令牌混合器 (Token Mixer) 对模型的性能更为重要。为了验证这个猜想，作者搞了一个极其简单，简单到尴尬的令牌混合器 (Token Mixer)：池化操作 (Pooling)。池化操作只有最最基本的融合不同空间位置信息的能力，它没有任何的权重。但是基于它所构建的 PoolFormer 架构依然能取得不俗的性能。 whaosoft aiot http://143ai.com
KAN网络最全解析——比肩MLP和Transformer？
小嘤熊的博客
05-11 4975
如果你想要进一步了解更多的相关知识，
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7525
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7201
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
【人工智能】NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
热门推荐
中科院AI算法工程师的博客
09-04 2万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年10月11号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks i...
NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
王博（Kings）的博客
09-04 2万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年9月6号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks in ...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(四)
yinizhilianlove的博客
02-21 2万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
ICML 2018 paper(oral)
qq_34848537的博客
10-08 5219
参考链接 icml 2018 oral Paperlist Optimal Tuning for Divide-and-conquer Kernel Ridge Regression with Massive Data Predict and Constrain: Modeling Cardinality in Deep Structured Prediction Transfer Learn...
adaptive-wavelet.rar_Adaptive wavelet_adaptive_图像，基函数_疵点检测_自 适应
07-15
本程序实现了自适应的选取小波基函数以实现图像疵点检测。
【DL经典回顾】激活函数大汇总（三十四）（Gaussian附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-20 808
Gaussian激活函数利用高斯函数（或正态分布函数）的性质，将输入映射到一个具有特定形状的输出。高斯函数在神经网络中的应用是为了利用其钟形的平滑特性，通常用于径向基函数网络（RBF网络）。本博客重点介绍这个激活函数。
第十四周：机器学习笔记
Zcymatics的博客
09-29 739
本周周报在机器学习的理论内容中，概述了Transformer里面Decoder的内容，其中包括Decoder的结构、autoregressive decoder（自回归解码器）以及non-autoregressive decoder（非自回归解码器），此外还讲述了Transformer 的训练过程，并在最后提供了序列到序列模型训练常用的Tips。在Pytorch代码学习中，本周报详细的讲述了训练模型的一些常用手段和流程，并通过代码实现了包括数据收集、模型搭建、模型训练、结果展示等过程。
【机器学习导引】ch3-线性模型
09-26 1057
在数学中，对于函数 f(x1,…,xm)f(x_1, \ldots, x_m)f(x1​,…,xm​) 在点 a=(a1,…,am)a = (a_1, \ldots, a_m)a=(a1​,…,am​) 处的梯度被定义为：∇f(a)=(∂f∂x1(a),…,∂f∂xm(a)) \nabla f(a) = \left( \frac{\partial f}{\partial x_1}(a), \ldots, \frac{\partial f}{\partial x_m}(a) \right) ∇f(a)
机器学习：探索未知边界，解锁智能潜力
2301_79181030的博客
09-28 844
在这个日新月异的科技时代，机器学习作为人工智能领域的核心驱动力，正以前所未有的速度改变着我们的世界。从智能家居的个性化推荐到自动驾驶汽车的精准导航，从医疗诊断的辅助分析到金融市场的风险预测，机器学习技术以其强大的数据处理能力和自我优化特性，不断拓宽着人类认知与应用的边界。未来，我们有望看到更加智能、高效、人性化的机器学习应用不断涌现，为人类社会带来更多的便利和福祉。通过对用户行为数据的深度挖掘和分析，金融机构能够更准确地评估贷款风险，及时发现潜在的欺诈行为，并为用户提供更加个性化的理财建议。
240929-CGAN条件生成对抗网络
weixin_66378701的博客
09-29 772
前面我们学习了GAN（）和DCGAN（），接下来继续来看CGAN（Conditional GAN）条件生成对抗网络。
diffusion vs GAN
Kuekua的专栏
09-27 854
条件生成对抗网络（cGAN）是 Pix2pix 的基础架构。传统的 GAN（生成对抗网络）包括一个生成器（Generator）和一个判别器（Discriminator），生成器从噪声分布中生成假样本，判别器则尝试区分真假样本。cGAN 则在此基础上加入了条件信息，使得生成过程不仅依赖于噪声，还依赖于特定的条件输入，从而引导生成器生成符合条件的样本。
机器学习概述
最新发布
西木风落
10-01 432
随着科技的不断更新发展，人工智能与社会生活的关系也越来越紧密。那么，人工智能和机器学习有什么关系，什么是机器学习，机器学习的模型算法有哪些，如何进行机器学习？本系列文章将从上述几个问题展开。
0基础跟德姆（dom）一起学AI 机器学习01-机器学习概述
chrisfanallin的博客
09-28 1200
AI全流程带你玩 0基础带你学人工智能相关软件，讲解机器学习、深度学习、大模型等人工智能领域核心知识。 帮助想了解，或者正在AI赛道成长的你。
集成成像深度提取：多视差函数拟合优化
本文主要探讨了一种基于多视差函数拟合的集成成像深度提取方法，针对集成成像系统的特点和挑战提出了一种创新解决方案。集成成像系统通过微透镜阵列一次性记录空间场景信息，显著简化了深度测量流程，避免了常规相机...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值