激活函数SiLU（Swish）

DaLi Yao

于 2024-10-10 15:27:17 发布

阅读量105

点赞数

文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/m0_53162279/article/details/142822819

版权

SiLU（Sigmoid Linear Unit）激活函数也被称为 Swish 激活函数

SiLU具备无上界有下界、平滑、非单调的特性。SiLU在深层模型上的效果优于 ReLU。可以看做是平滑的ReLU激活函数。

Swish 函数在实践中已经证明了其有效性，特别是在深度神经网络中。它既有 ReLU（Rectified Linear Unit）激活函数的一些优点（例如，能够缓解梯度消失问题），又能解决 ReLU 函数的一些缺点（例如，ReLU 函数不是零中心的，且在负数部分的梯度为零）。此外，Swish 函数还是平滑函数，这意味着它在整个定义域内都有导数，这有利于优化。