CNN基础知识 || 激活函数 Mish、Relu、Softplus的公式和画法

最新推荐文章于 2024-05-28 01:36:02 发布

magic_ll

最新推荐文章于 2024-05-28 01:36:02 发布

阅读量2.2k

点赞数 2

分类专栏： cnn知识

本文链接：https://blog.csdn.net/magic_ll/article/details/114940262

版权

cnn知识专栏收录该内容

5 篇文章 1 订阅

订阅专栏

Mish激活函数： $f(x)=x\cdot \tanh(softplus(x))=x\cdot \tanh(\ln(1+e^x))$
relu激活函数： $f(x)=max\{0,x\}$
Softplus函数： $f(x)=\ln(1+e^x)$

画图为：

三个激活函数的曲线如下图：
在这里插入图片描述
python 的实现代如下：


import numpy as np
import matplotlib.pyplot as plt

plt.annotate("", xy=(4.1, 0), xycoords='data', xytext=(-4.1, 0), textcoords='data',
            arrowprops=dict(arrowstyle="->", connectionstyle="arc3"))  # 画x轴
plt.annotate("", xy=(0, 4.1), xycoords='data', xytext=(0, -1.1), textcoords='data',
            arrowprops=dict(arrowstyle="->", connectionstyle="arc3"))  # 画y轴
plt.text(3.9, 0.1, 'x')  # 标x
plt.text(0.1, 3.9, 'y')  # 标y
plt.xlim(-4.1, 4.1)  # 箭头
plt.ylim(-1.1, 4.1)  #箭头


X = np.linspace(-4, 4, 1024)

Y1 = np.log(1 + np.exp(X))
Y2 = X * np.tanh(np.log(1 + np.exp(X)))
Y3 = np.maximum(X, 0)

# plt.title('$f(x)=softplus$')
# plt.title('$f(x)=relu$')
# plt.title('$f(x)=Mish$')

plt.plot(X, Y1, c = 'g')
plt.plot(X, Y2, c = 'b')
plt.plot(X, Y3, c = 'r')

plt.show()