神经网络激活函数

1. Sigmoid函数
   Sigmoid函数是一种常用的激活函数，它将输入值映射到0到1之间的输出值。它的公式如下：$$\sigma (x)=\frac{1}{1+e^{-x}}$$2. ReLU函数ReLU函数是一种常用的激活函数，它将输入值映射到0到正无穷之间的输出值。它的公式如下：$$ReLU(x)=max(0,x)$$3. Leaky ReLU函数Leaky ReLU函数是ReLU函数的变体，它在输入值小于0时不是返回0，而是返回一个小的负数。它的公式如下：$$LeakyReLU(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \alpha x,& \text{otherwise}\end{array}$$其中，$\alpha$是一个小的正数，通常取0.01。4. ELU函数ELU函数是一种类似于Leaky ReLU函数的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。它的公式如下：$$ELU(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \alpha (e^x-1),& \text{otherwise}\end{array}$$其中，$\alpha$是一个小的正数，通常取1。5. Tanh函数Tanh函数是一种常用的激活函数，它将输入值映射到-1到1之间的输出值。它的公式如下：$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$6. Softmax函数Softmax函数是一种常用的激活函数，它将输入值映射到0到1之间的输出值，并且所有输出值的和为1。它的公式如下：$$softmax(x_i)=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}}$$其中，$n$是输出的维度。7. Swish函数Swish函数是一种新的激活函数，它在ReLU函数的基础上加入了一个sigmoid函数。它的公式如下：$$Swish(x)=x\sigma (\beta x)$$其中，$\beta$是一个可调参数。8. Maxout函数Maxout函数是一种新的激活函数，它将输入值分成若干个部分，每个部分都进行线性变换，然后取最大值作为输出。它的公式如下：$$Maxout(x)=max(w_1^{T}x+b_1,w_2^{T}x+b_2,...,w_k^{T}x+b_k)$$其中，$k$是分段的数量，$w_i$和$b_i$是可学习的参数。9. PReLU函数PReLU函数是一种类似于Leaky ReLU函数的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，PReLU函数的负数部分是可学习的。它的公式如下：$$PReLU(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \alpha x,& \text{otherwise}\end{array}$$其中，$\alpha$是一个可学习的参数。10. SELU函数SELU函数是一种新的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，SELU函数的负数部分是根据一定的规则计算的。它的公式如下：$$SELU(x)=\lambda \{\begin{array}{ll}x,& \text{if }x>0\\ \alpha (e^x-1),& \text{otherwise}\end{array}$$其中，$\lambda$和$\alpha$是可调参数，通常取1和1.67326。11. Gaussian Error Linear Units (GELU)函数GELU函数是一种新的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，GELU函数的负数部分是根据高斯误差函数计算的。它的公式如下：$$GELU(x)=xP(X\le x)$$其中，$X$是一个服从标准正态分布的随机变量，$P(X\le x)$是它的累积分布函数。12. ArcTan函数ArcTan函数是一种常用的激活函数，它将输入值映射到-1到1之间的输出值。它的公式如下：$$ArcTan(x)=ta{n}^{-1}(x)$$13. Softplus函数Softplus函数是一种常用的激活函数，它将输入值映射到0到正无穷之间的输出值。它的公式如下：$$Softplus(x)=log(1+e^x)$$14. Bent Identity函数Bent Identity函数是一种常用的激活函数，它将输入值映射到0到正无穷之间的输出值。它的公式如下：$$BentIdentity(x)=\frac{\sqrt{x^2+1}-1}{2}+x$$15. Sinusoid函数Sinusoid函数是一种常用的激活函数，它将输入值映射到-1到1之间的输出值。它的公式如下：$$Sinusoid(x)=sin(x)$$16. Hard Sigmoid函数Hard Sigmoid函数是一种类似于Sigmoid函数的激活函数，它将输入值映射到0到1之间的输出值。不同之处在于，Hard Sigmoid函数的计算比Sigmoid函数更简单。它的公式如下：$$HardSigmoid(x)=\{\begin{array}{ll}0,& \text{if }x<-2.5\\ 1,& \text{if }x>2.5\\ 0.2x+0.5,& \text{otherwise}\end{array}$$17. Hard Tanh函数Hard Tanh函数是一种类似于Tanh函数的激活函数，它将输入值映射到-1到1之间的输出值。不同之处在于，Hard Tanh函数的计算比Tanh函数更简单。它的公式如下：$$HardTanh(x)=\{\begin{array}{ll}-1,& \text{if }x<-1\\ 1,& \text{if }x>1\\ x,& \text{otherwise}\end{array}$$18. Softsign函数Softsign函数是一种常用的激活函数，它将输入值映射到-1到1之间的输出值。它的公式如下：$$Softsign(x)=\frac{x}{1+|x|}$$19. ISRU函数ISRU函数是一种常用的激活函数，它将输入值映射到-1到1之间的输出值。它的公式如下：$$ISRU(x)=\frac{x}{\sqrt{1+\alpha x^2}}$$其中，$\alpha$是一个可调参数。20. Logit函数Logit函数是一种常用的激活函数，它将输入值映射到0到1之间的输出值。它的公式如下：$$Logit(x)=\frac{1}{1+e^{-x}}$$21. Mish函数Mish函数是一种新的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，Mish函数的负数部分是根据双曲正切函数计算的。它的公式如下：$$Mish(x)=x\tanh (\ln (1+e^x))$$22. SQNL函数SQNL函数是一种常用的激活函数，它将输入值映射到-1到1之间的输出值。它的公式如下：$$SQNL(x)=\{\begin{array}{ll}x-\frac{x^2}{4},& \text{if }x\le 2\\ x-\frac{3}{4},& \text{if }2<x\le 3\\ x-\frac{9}{4}+\frac{x}{2},& \text{if }x>3\end{array}$$23. ReSQNL函数ReSQNL函数是一种类似于SQNL函数的激活函数，它将输入值映射到-1到1之间的输出值。不同之处在于，ReSQNL函数的计算比SQNL函数更简单。它的公式如下：$$ReSQNL(x)=\{\begin{array}{ll}x-\frac{x^2}{4},& \text{if }x\le 1\\ x,& \text{otherwise}\end{array}$$24. Gaussian函数Gaussian函数是一种常用的激活函数，它将输入值映射到0到1之间的输出值。它的公式如下：$$Gaussian(x)=e^{-x^2}$$25. Cosine函数Cosine函数是一种常用的激活函数，它将输入值映射到-1到1之间的输出值。它的公式如下：$$Cosine(x)=cos(x)$$26. Inverse Square Root Linear Unit (ISRLU)函数ISRLU函数是一种新的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，ISRLU函数的负数部分是根据平方根函数计算的。它的公式如下：$$ISRLU(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \frac{x}{\sqrt{1+\alpha x^2}},& \text{otherwise}\end{array}$$其中，$\alpha$是一个可调参数。27. Exponential Linear Unit (ELiU)函数ELiU函数是一种新的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，ELiU函数的负数部分是根据指数函数计算的。它的公式如下：$$ELiU(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \alpha (e^x-1),& \text{otherwise}\end{array}$$其中，$\alpha$是一个可调参数。28. Inverse Exponential Linear Unit (I-ELU)函数I-ELU函数是一种新的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，I-ELU函数的负数部分是根据指数函数的倒数计算的。它的公式如下：$$I-ELU(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \frac{\ln (1+\alpha x)}{\alpha },& \text{otherwise}\end{array}$$其中，$\alpha$是一个可调参数。29. SineReLU函数SineReLU函数是一种新的激活函数，它在输入值小于0时不是返回0，而是返回一个小的负数。不同之处在于，SineReLU函数的负数部分是根据正弦函数计算的。它的公式如下：$$SineReLU(x) = \begin{cases} x, & \text{if } x > 0 \ \sin(\