机器学习中的激活函数（真·函数）

已于 2023-10-17 20:39:41 修改
阅读量168 收藏
点赞数
文章标签： 机器学习 人工智能
于 2023-10-14 13:12:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/walchina2017/article/details/133822444
版权

学过机器学习的都知道，激活函数很重要，没有它们就只有线性神经网路（效果堪忧）。并且它们还决定了训练的精准度和速度。这主要是应为在做backpropagation的时候，决定一个神经网络中的hidden layer里的一个神经元的weight和bias改怎么调需要激活函数的导数。

现在市面上主要的激活函数大概是这些：

1. Sigmoid

2. Tanh

3. ReLU

4. Leaky ReLU

5. ELU

6. SELU

7. SiLU

8. swish

9. mish

1. Sigmoid:


\sigma (x) = \frac{1}{1+e^{-x}}

2. Tanh.

tanh(x)

3. ReLU

有点不好搞，因为大部分的函数是这样的：

ReLU(x)=max(0,x)

这虽然是个函数，但是我想自己想办法解决。

ReLU(x)=\frac{x+\left|x\right|}{2}

我们可以看到当x<=0的时候，x和|x|会相互抵消，所以会变成0。但是当x>0的时候，x和|x|会得到2x，所以要÷2。

ReLU(x)=\frac{x+\left|x\right|}{2}

4. Leaky ReLU

Leaky ReLU比ReLU更好，应为它可以解决ReLU的一个问题：神经元死亡问题（可以上网查，我在这里就不细讲了）。

现在，我需要用另一种方式。

首先，我需要找到一个公式，当x<0的时候，函数输出0，否则输出1。

OK，我也是直接找到这个公式好吧。

\frac{x+|x|}{2|x|}

这个公式来源于之前ReLU(x)的公式：\frac{x+|x|}{2}。

ReLU的公式在x<=0的时候，输出0，但是当x>0的时候输出x。

而我们这个公式把输出除以x，所以就能得到1。

Leaky ReLU的大部分函数是这样的，alpha的值一般在0.01。

Leaky ReLU(x) = max(\alpha x, x)

而我自己的函数是这样的。

LeakyReLU(x)=\frac{x^{2}+x\left|x\right|-a_{1}x^{2}+a_{1}x\left|x\right|}{2\left|x\right|}, \alpha =0.01

这个函数是一个从两个函数的出来的：

\frac{x^{2}+x\left|x\right|}{2\left|x\right|} +\frac{-\alpha x^{2}+\alpha x\left|x\right|}{2\left|x\right|}

而这两个函数又可以被分解为：

\frac{x+\left|x\right|}{2\left|x\right|}x +\frac{-x+\left|x\right|}{2\left|x\right|}\alpha x

\frac{x+|x|}{2|x|}会在x<0的情况下输出0，在x>=0的时候输出1。
所以大家理解一会就会懂了。

LeakyReLU(x)=\frac{(1-2\alpha)x+\left|(1-2\alpha)x\right|}{(2-4\alpha)},\alpha =0.01

5. ELU

开始有一点复杂了。

ELU(x)=max(\alpha (e^{x}-1),x)

一般alpha=1。

我们能推算出ELU的公式：

\frac{x+|x|}{2|x|}x+\frac{-x+|x|}{2|x|}\alpha (e^{x}-1)

简化一下

ELU(x,\alpha )=\frac{x^2+x|x|+\alpha (e^{x}-1)(|x|-x)}{2|x|}

我来解释一下：

设D(x)=\frac{x+|x|}{2|x|}

首先，我们想要在x>0的时候用y=x这个方程， 并且，在x<=0的时候用\alpha (e^{x}-1)，所以，我们要把D(x)乘以x，然后把它加到D(-x)乘以\alpha (e^{x}-1)。比如说，如果x>0，D(x)就会输出1，而D(-x)会输出零。所以整个算式就变成：

D(x)x+0=1x

所以x>0的时候就会得到x。

但是如果x<=0，就会变成：

0+D(x)\alpha (e^{x}-1)=1\alpha (e^{x}-1)

所以就会得到\alpha (e^{x}-1)。

\frac{x^2+x|x|+\alpha (e^{x}-1)(|x|-x)}{2|x|},\alpha =1

6. SELU

SELU和ELU差不多。

SELU(x) = 1.0507009873554804934193349852946ELU(x,1.6732632423543772848170429916717)

其实就是ELU前面乘了一个数，并且alpha被设为了一个特定的数。这两个数使用证明得出来的。

SELU(x) = 1.0507009873554804934193349852946ELU(x,1.6732632423543772848170429916717)

7. SiLU

SiLU的公式很简单：

SiLU(x)=\frac{x}{1+e^{-x}}

熟悉激活函数的肯定一眼就能看出来SiLU就是x*sigmoid(x)。

SiLU(x)=\frac{x}{1+e^{-x}}

8. swish

谷歌搞出来的。

公式为：

swish(x)=\frac{x}{1+e^{-\beta x}}

相信很多人一眼就看出来swish就是x\sigma (\beta x)。

swish(x)=\frac{x}{1+e^{-\beta x}},\beta =2

9. mish

SiLU的姐妹函数。

公式为：

mish(x)=x\tanh(\ln(1+e^{x}))

mish(x)=x\tanh(\ln(1+e^{x}))

最后，所有的公式都放到这个链接里面了。

致谢：

Sigmiod、Tanh、Relu、Mish...等激活函数的那点事儿 - 知乎icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/139696588

何荣基
关注
机器学习笔记 - Swish激活函数的定义和优势
学以致用 知行合一
12-20 889
首先，Swish 是像 ReLU、sigmoid 和 tanh 一样的非线性函数，使神经网络能够对输入和输出之间的复杂关系进行建模。非线性函数对于深度学习的工作至关重要，因为它们能够捕获和表示复杂的模式。 与 ReLU 等其他常用激活函数相比，Swish 具有独特的形状。它的形状更像是 sigmoid 函数，随着输入值的增加，输出平滑且逐渐增加。此功能使 Swish 在处理各种输入方面更具适应性和效率。
机器学习之路二：激活函数，损失函数
W_H_M_2018的博客
04-23 2268
激活函数 激活函数有什么用？ 　　引入非线性因素。　 　　在我们面对线性可分的数据集的时候，简单的用线性分类器即可解决分类问题。但是现实生活中的数据往往不是线性可分的，面对这样的数据，一般有两个方法：引入非线性函数、线性变换。 线性变换 　　就是把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。 激活函数（非线性函数） 　　激活函数是如何引入非线性因素的呢？在...
一文搞懂激活函数
ytusdc的博客
08-01 1万+
1、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 2、激活函数的用途（为什么需要激活函数）？ 1. 对于y=ax+b 这样的函数，当x的输入很大时，y的输出也是无限大小的，经过多层网络叠加后，值更加膨胀的没边了，这显然不符合我们的预期，很多情况下我们希...
激活函数的理解及其工作原理
a699669的博客
12-29 6637
激活函数 接触机器学习大概一年多了，自己对于激活函数感觉还是停留在表面，因此想重新学习一下，加深一下对于“激活函数”的理解。 文章目录激活函数前言激活函数为什么需要激活函数？二、各种激活函数的介绍1.SigmoidtanhReLU、Leaky ReLU、PReLU、RReLUSwish/SiLUMishAconC、meta-AconC参考资料 前言 假设有一个问题，对如下面这样的图片进行一个二分类的任务，没用激活函数，该如何拟合出一条曲线呢？（默认做不到！） 再考虑一个矩阵运算（毕竟我们使用的神经网络
激活函数汇总
最新发布
Thomas_Cai的记忆殿堂
07-18 612
常见激活函数汇总，包括函数、图像、优缺点、使用场景
常见的激活函数总结
庐州小白的博客
10-10 502
1. Softmax函数 另称归一化指数函数，它可以将包含任意实数的 kkk 维向量ZZZ 压缩到另一个 kkk 维实向量 σ(Z)\sigma(Z)σ(Z) 中，使得每一个元素的范围都在 (0,1)(0,1)(0,1) 之间，并且所有元素的和为 111。对于每个 jjj，满足： σ(Z)j=eZj∑i=1neZi \sigma(Z)_j = \frac{e^{Z_j}}{\sum_{i=1}^n e^{Z_i}} σ(Z)j​=∑i=1n​eZi​eZj​​ import numpy as np impo
常用的激活函数合集（详细版）
caip12999203000的博客
09-27 3万+
从激活函数的公式及导函数、图像、优缺点或特点来描述了激活函数，以及总结了激活函数之间的优势，并且提供了pytorch的代码案例，以便于大家快速上手。
机器学习 - 激活函数
呵呵
07-02 1272
激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。 常用激活函数         激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function )   (2) 斜面函数 ( Ramp Function )   (3) 阈值函数 ( Threshold Fun
机器学习之常用激活函数
WEL测试
01-17 913
激活函数常用类型有：线性激活函数、符号激活函数、Sigmoid激活函数、tanh激活函数、高斯激活函数、ReLU、GeLU等
机器学习各种激活函数比较
02-18
### 机器学习中的激活函数详解 #### 激活函数的重要性 在神经网络中，激活函数扮演着至关重要的角色。它们不仅为网络引入了非线性特性，还直接影响着网络的学习能力和性能。没有激活函数，多层神经网络就无法学习...
机器学习——激活函数sigmoid、tanh、ReLU和softmax
fortune_cookie的博客
10-17 2693
在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。具体来说，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。比较常用的激活函数主要有：sigmoid函数、tanh函数、ReLU函数和softmax函数。下面我们将具体介绍。
【机器学习】 激活函数和代价函数
qq_36643449的博客
04-13 1079
【激活函数】 如果没有激活函数，那么神经网络模型就是一个线性模型；即便有再多的隐藏层，整个网络也只能等价于一个单层的神经网络。有了激活函数以后，神经网络就能建模非线性模型，能广泛处理复杂的问题。 阶跃函数：最早采用的激活函数是阶跃函数，但其光滑性不好，所以实际中用光滑性较好的函数替代。 Sigmoid函数：Sigmoid函数具有可微性和单调性，输出值的范围是(0,1)，在物理意义上最接近生物神...
深度学习中的激活函数
Jad_Goh的博客
08-19 8832
深度学习中常用的激活函数优缺点分析：sigmoid、tanh、ReLU...
tensorflow2图像分类实战激活函数selu
u013705056的博客
12-22 1134
1. 内容回顾 上一篇文章主要从理论方面讲述了激活函数的相关概念和一些注意事项。本篇文章将会主要介绍tensorflow2.2中如何进行激活函数的设置和模型的训练。 2. 代码实战讲解 我们仍旧以图片分类的例子进行实战，可以参看之前的《TensorFlow2 Fashion-MNIST图像分类》部分。 之前提到selu激活函数自带了很多的优势，比如自带归一化功能，训练速度比较快。所以我们将会使用该激活函数进行试验，selu激活函数的这些优势，让它被广泛使用。 模型代码部分如下： # tf.keras.mod
【深度学习】激活函数合集
AI爱好者的博客，分享计算机领域相关知识
03-18 3032
神经网络中激活函数的主要作用是提供网络的非线性建模能力，本文包含23种激活函数及其对应的函数图像，也给出pytorch对应的示例可视化代码。
23种激活函数
梦的灰色边沿...
11-07 2万+
文章目录一、简介二、激活函数种类1、恒等函数2、单位阶跃函数3、逻辑函数4、双曲正切函数5、反正切函数6、Softsign函数7、反平方根函数(ISRU)8、线性整流函数(ReLU)9、带泄露线性整流函数(Leaky ReLU)10、参数化线性整流函数(PReLU)11、带泄露随机线性整流函数(RReLU)12、指数线性函数(ELU)13、扩展指数线性函数(SELU)14、S型线性整流激活函数(S...
激活函数relu、leaky-relu、elu、selu、serlu比较
littlelanlan的博客
08-05 1万+
1.ReLU(Rectified Linear Unit) 函数形式： ReLU(x)={xx ≥ 00otherwise ReLU(x)=\left\{ \begin{array}{ll} x &amp; \textrm{x $\ge$ 0}\\ 0 &amp; \textrm{otherwise}\\ \end{array} \right. ReLU(x)=...
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
热门推荐
jsk_learner的博客
10-30 4万+
非线性激活函数详解饱和激活函数Sigmoid函数tanh函数非饱和激活函数Relu（修正线性单元）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）SwishMaxout关于激活函数统一说明参考链接 因为深度学习模型中其它的层都是线性的函数拟合，即便是用很深的网络去拟合，其还是避免不了线性的特性，无法进行非线性...
机器学习中激活函数的作用
03-31
激活函数在机器学习中扮演着非常重要的角色，主要有以下几个作用： 1.引入非线性：激活函数可以将线性变换转化为非线性变换，从而让神经网络能够拟合更加复杂的函数。 2.增强模型表达能力：激活函数能够增强神经...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值