Swish激活 hswish激活

最新推荐文章于 2024-05-17 11:20:39 发布
最新推荐文章于 2024-05-17 11:20:39 发布
阅读量4.6k 收藏 3
点赞数 1
分类专栏： 深度学习宝典 文章标签： swish激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/105582377
版权
本文探讨了MobileNet V3中引入的h-swish激活函数，它是对原始swish函数的改进，旨在替代ReLU6。作者指出，尽管swish在深层网络中表现优越，但其sigmoid计算成本较高，于是V3采用ReLU6作为近似。h-swish仅在模型初期和后期使用，以节省参数量。实验表明，ReLU在效率上优于Swish，且Swish的内存占用大约是ReLU6的两倍。
摘要由CSDN通过智能技术生成

激活函数h-swish是MobileNet V3相较于V2的一个创新，是在谷歌大脑2017年的论文Searching for Activation Functions中swish函数的基础上改进而来，用于替换V2中的部分ReLU6。

swish的作者认为，该函数具有无上界、有下界、平滑、非单调的特点，在深层模型上优于ReLU。但是，由于sigmoid函数计算复杂（sigmoid(x) = (1 + exp(-x))^(-1)），所以V3改用近似函数来逼近swish，这使其变得更硬（hard）。作者选择了ReLU6作为这个近似函数，有两个原因：1、在几乎所有的软件和硬件框架上都可以使用ReLU6的优化实现；2、ReLU6能在特定模式下消除由于近似sigmoid的不同实现而带来的潜在的数值精度损失。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
专栏目录
订阅专栏
MATLAB算法实战应用案例精讲-【神经网络】激活函数：Swish（附python代码实现）
qq_36130719的博客
12-22 1660
Swish是谷歌在17年提出的一个激活函数，形式非常简单，几乎就是 sigmoid 和 ReLU 的拼凑，具备无上界有下界、平滑、非单调的特性，Swish 在深层模型上的效果优于 ReLU。例如，仅仅使用 Swish 单元替换 ReLU 就能把 Mobile NASNetA 在 ImageNet 上的 top-1 分类准确率提高 0.9%，Inception-ResNet-v 的分类准确率提高 0.6%。多种激活函数对比生物神经网络是人工神经网络的起源。
激活函数Swish
热门推荐
August-us的博客
05-21 3万+
激活函数Swish系列文章：   Swish函数先对来说是比较新的一些激活函数，算是由之前的激活函数复合而成出来的。也是由Google提出的，毕竟资力雄厚，承担的起搜索的任务。而且这个算法感觉曝光率还算比较高，就在这里整理一下，同时后面的文章也会再次提到这个函数。   对前面的激活函数有了一定的基础之后，理解Swish激活就容易很多了，Swish函数的表达式是f(x)=x⋅σ(x)f(x)=x·\sigma(x)f(x)=x⋅σ(x)，σ(x)\sigma(x)σ(x)就是sigmoid函数。因为sigmo
MobileNet V3激活函数之h-swish
Harvey_Hawk的博客
01-05 1万+
激活函数h-swish是MobileNet V3相较于V2的一个创新，是在谷歌大脑2017年的论文Searching for Activation Functions中swish函数的基础上改进而来，用于替换V2中的部分ReLU6。 swish的作者认为，该函数具有无上界、有下界、平滑、非单调的特点，在深层模型上优于ReLU。但是，由于sigmoid函数计算复杂（sigmoid(x) = (1 + exp(-x))^(-1)），所以V3改用近似函数来逼近swish，这使其变得更硬（hard）。作者选择
【激活函数】h-swish激活函数详解
Roaddd的博客
03-15 9804
       Swish 激活函数已经被证明是一种比 ReLU 更佳的激活函数，但是相比 ReLU，它的计 算更复杂，因为有 sigmoid 函数。为了能够在移动设备上应用 swish 并降低它的计算开销， 提出了 h-swish。 ● swish 激活函数： ● h-swish 激活函数： ● 图像 ...
h-swish激活函数及TensorFlow实现
sunmingyang1987的博客
09-10 2629
h-swish激活函数出自MobileNetV3论文（论文链接：https://arxiv.org/abs/1905.02244）,该激活函数为了近似swish激活函数。swish激活函数具有：无上界、有下界、平滑、非单调等特点，可使神经网络层具有更丰富的表现能力。但swish函数有个缺点，计算量比较大，其函数表达式如下： 式中贝塔为可训练参数。 为了适应轻量级网络使用，MobileNetV3作者提出了h-swish函数，该函数使用常见的算子组合而成，因此几乎所有框架都可实现，且在对效果影响不大的条件下使
Hard Swish激活函数
weixin_38190702的博客
06-28 7263
HardSwish激活函数的两个版本的介绍
pytorch 激活函数
jacke121的专栏
10-14 3472
inplace=True会x把输入前的删掉了，都变成了输入后的， 没有inplace，输入还是输入，输出是新的了。 import torch import torch.nn as nn #inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出 m = nn.LeakyReLU(inplace=True) input = torch.randn(7) p...
hswish
jacke121的专栏
05-03 4068
import torch import torch.nn as nn import torch.nn.functional as F import math # from tensorboardX import SummaryWriter class hswish(nn.Module): def forward(self, x): out = x * F.r...
谷歌swish激活函数
qq_43258953的博客
11-13 1431
Swish是Google17年在10月16号提出的一种新型激活函数,其原始公式为:f(x)=x * sigmod(x),变形Swish-B激活函数的公式则为f(x)=x * sigmod(b * x),其拥有不饱和,光滑,非单调性的特征。 f(x)=x⋅sigmoid(βx) β是个常数或可训练的参数.Swish 具备无上界有下界、平滑、非单调的特性。Swish 在深层模型上的效果优于 ReLU。...
Google提出的新型激活函数:Swish
weixin_30785593的博客
11-26 379
简介 Swish是Google在10月16号提出的一种新型激活函数,其原始公式为:f(x)=x * sigmod(x),变形Swish-B激活函数的公式则为f(x)=x * sigmod(b * x),其拥有不饱和,光滑,非单调性的特征,而Google在论文中的多项测试表明Swish以及Swish-B激活函数的性能即佳,在不同的数据集上都表现出了要优于当前最佳激...
自门控激活函数Swish
zchang81的博客
10-24 5263
Swish 是一种新型激活函数，公式为： f(x) = x · sigmoid(x)。Swish 具备无上界有下界、平滑、非单调的特性。
【激活函数】Swish激活函数详解
Roaddd的博客
03-14 1万+
Swish：Self-gated activation function（2017） Swish图像： Swish公式： 当β=1 时： Swish导数： Swish特点：
详解激活函数Swish
大脸猫的博客
11-23 1万+
深层神经网络激活函数的选择对网络的训练动力学和任务性能有着重要的影响。目前，最成功和广泛使用的激活函数是矫正线性单元(ReLU) ，它是 f (x) = max (0，x)。虽然有人提出了各种替代 ReLU的办法，但由于收益不一致，没有一种办法能够取代它。因此，谷歌大脑团队提出了一个名为 Swish 的新激活函数，简称 f (x) = x s (x)。他们的实验表明，在一些具有挑战性的数据集上，Swish 比 ReLU 在更深层次的模型上工作得更好。例如，只需简单地用 Swish 单位替换 ReLUs，M.
swish激活函数
bblingbbling的博客
07-03 2万+
swish和mish激活函数函数公式函数图像函数特点对比mish激活函数 函数公式 函数图像 当β\betaβ取不同的值时，函数图像如下： 当β\betaβ = 0时，Swish激活函数变为线性函数 f(x) = x2\frac{x}{2}2x​， 当β\betaβ = ∞\infty∞ 时，Swish激活函数变为0或x，相当于Relu， 所以，Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。 —————————————————————————————————— Swish函数的求导过
激活函数Swish（ICLR 2018）
00000cj的博客
03-04 1043
本文提出用自动搜索技术来寻找新的激活函数。结合穷举和基于强化学习的搜索，作者发现了许多新的激活函数。作者还通过对找到的最优激活函数的经验评估来验证搜索的有效性。实验表明，找到的最优激活函数 \(f(x)=x\cdot siogmoid(\beta x)\)，作者称之为 \(Swish\)，在许多具有挑战性的数据集上，效果都优于ReLU。
swish和h-swish激活函数（附matlab画图）
m0_73177436的博客
05-11 332
swish和h-swish激活函数（附matlab画图）
神经网络中的激活函数——Swish函数
最新发布
Seu_Jason的博客
05-17 1447
本文介绍了Swish函数
swish 激活函数
07-27
Swish（或称为自适应Sigmoid激活函数）是一种用于神经网络的激活函数。Swish函数的数学表达式为f(x) = x * sigmoid(x)，其中sigmoid是Sigmoid函数。Swish激活函数在2017年由Google的研究人员提出，并在一些实验中表现出比ReLU等常用激活函数更好的性能。 Swish激活函数具有一些有趣的性质，例如它是平滑的，并且在x趋近于负无穷时呈现出类似ReLU的线性行为，而在x趋近于正无穷时呈现出类似Sigmoid函数的饱和行为。这种特性可以帮助网络学习更复杂的函数，并且在一些情况下可以提高模型的准确性和收敛速度。 需要注意的是，Swish激活函数在计算上相对于ReLU和Sigmoid函数会更加复杂，因此在一些资源受限的环境中可能不适用。此外，Swish激活函数使用了Sigmoid函数，因此在网络层较深时可能会出现梯度消失的问题，需要注意适当的初始化和正则化方法来缓解这个问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值