np实现sigmoid_使用TensorFlow实现反向传播算法（二）

最新推荐文章于 2024-07-12 18:30:25 发布

iiif

最新推荐文章于 2024-07-12 18:30:25 发布

阅读量157

点赞数

文章标签： np实现sigmoid

本文链接：https://blog.csdn.net/weixin_30345873/article/details/112381208

版权

1.3 LeakyReLU函数导数

LeakyReLU 函数的表达式：

LeakyReLU的函数导数表达式：

def leakyrelu(x, p):

y = np.copy(x)

y[y < 0] = p * y[y < 0]

return y

# 其中 p 为 LeakyReLU 的负半段斜率，为超参数

def leakyrelu_derivative(x, p):

dx = np.ones_like(x) # 创建梯度张量，全部初始化为 1

dx[x < 0] = p # 元素为负的导数为 p

return dx

x = np.arange(-6.0, 6.0, 0.1)

p = 0.1

leakyrelu_y = leakyrelu(x, p)

leakyrelu_derivative_y = leakyrelu_derivative(x, p)

set_plt_ax()

plt.plot(x, leakyrelu_y, color='C9', label='LeakyReLU')

plt.plot(x, leakyrelu_derivative_y, color='C4', label='导数')

plt.xlim(-6, 6)

plt.yticks(np.arange(-1, 7))

plt.legend(loc=2)

plt.show()

1.4 Tanh 函数梯度

tanh函数的表达式：

tanh函数的导数表达式：

def sigmoid(x): # sigmoid 函数实现

return 1 / (1 + np.exp(-x))

def tanh(x): # tanh 函数实现

return 2*sigmoid(2*x) - 1

def tanh_derivative(x): # tanh 导数实现

return 1-tanh(x)**2

x = np.arange(-6.0, 6.0, 0.1)

tanh_y = tanh(x)

tanh_derivative_y = tanh_derivative(x)

set_plt_ax()

plt.plot(x, tanh_y, color='C9', label='Tanh')

plt.plot(x, tanh_derivative_y, color='C4', label='导数')

plt.xlim(-6, 6)

plt.ylim(-1.5, 1.5)

plt.legend(loc=2)

plt.show()