Tanh 激活函数及求导过程

原函数:

                                                                                  f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}                  (-1, 1)   

导数:

                    f(x)'= 1 - (tanh(x))^2               当 x = 10, 或 x = -10 时, f(x) ' \approx 0  ;   当  x = 0 时, f(x)' = 1

先化简为

f(x)' = (\frac{e^{x}- e^{-x}}{e^x + e^{-x}})'

替代:a = e^x             b = e^{-x}

因为    (\frac{\mu }{\nu })' = \frac{\mu'\nu - \mu\nu'}{\nu^2}    、 \mu = (a - b)  、 \nu = (a+b)

所以:

                                         (\frac{e^{x}- e^{-x}}{e^x + e^{-x}})' = (\frac{a-b}{a+b})' = \frac{(a-b)' \times (a+b) - (a-b)\times (a+b)'}{(a+b)^2} \ \ \ \ \ \ \ \ (1)

                                                          (a - b)' = (e^x - e^{-x}) = e^x - (-1)\times e^{-x} = e^x + e^{-x} \ \ \ \ \ \ \ \ \ \ (2)

                                                          (a + b)' = (e^x + e^{-x}) = e^x + (-1)\times e^{-x} = e^x - e^{-x} \ \ \ \ \ \ \ \ \ \ (3)

又: a = e^x \ , b = e^{-x}

                                                                                   (2) = (a-b)' = a + b

                                                                                   (3) = (a+b)' = a - b

 把上式的(2)、(3) 带入(1),得到

                                                                                             \\ \frac{(a-b)' \times (a+b) - (a-b)\times (a+b)'}{(a+b)^2} \\ = \frac{(a+b)^2 - (a-b)^2}{(a+b)^2} \\ = 1 - \frac{(a-b)^2}{(a+b)^2} \\ = 1 - (\frac{e^x-e^{-x}}{e^x+e^{-x}})^2 \\= 1 - tahn(x)^2

作用:非常优秀,几乎适合所有的场景。

缺点:该导数在正负饱和区的梯度都会接近于 0 值,会造成梯度消失。还有其更复杂的幂运算。

可视化:

                  

可视化代码实现:

import math
import matplotlib.pyplot as plt
import numpy as np
import mpl_toolkits.axisartist as axisartist

# Tanh 激活函数
class Tanh:       
    # 原函数 
    def forward(self, x):
        return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
    # 导数
    def backward(self, outx):
        tanh = (np.exp(outx) - np.exp(-outx)) / (np.exp(outx) + np.exp(-outx))
        return 1 - math.pow(tanh, 2)

# 画图
def Axis(fig, ax):
    #将绘图区对象添加到画布中
    fig.add_axes(ax)
    # 隐藏坐标抽
    ax.axis[:].set_visible(False)
    # new_floating_axis 创建新的坐标
    ax.axis["x"] = ax.new_floating_axis(0, 0)
    # 给 x 轴创建箭头线,大小为1.0
    ax.axis["x"].set_axisline_style("->", size = 1.0)
    # 给 x 轴箭头指向方向
    ax.axis["x"].set_axis_direction("top")
    # 同理,创建 y 轴
    ax.axis["y"] = ax.new_floating_axis(1, 0)
    ax.axis["y"].set_axisline_style("->", size = 1.0)
    ax.axis["y"].set_axis_direction("right")

# 返回间隔均匀的100个样本,计算间隔为[start, stop]。
x =  np.linspace(-10, 10, 100)
y_forward = []
y_backward = []

def get_list_forward(x):
    for i in range(len(x)):
        y_forward.append(Tanh().forward(x[i]))
    return y_forward

def get_list_backward(x):
    for i in range(len(x)):
        y_backward.append(Tanh().backward(x[i]))
    return y_backward
    
y_forward = get_list_forward(x)
y_backward = get_list_backward(x)

#创建画布
fig = plt.figure(figsize=(12, 12))

#创建绘图对象ax
ax = axisartist.Subplot(fig, 111)
Axis(fig, ax)

# 设置x, y轴范围
plt.ylim((-2, 2))
plt.xlim((-10, 10))

# 原函数,forward function
plt.plot(x, y_forward, color='red', label='$f(x) = tanh(x)$')
plt.legend()

# 导数, backward function
plt.plot(x, y_backward, label='f(x)\' = 1-(tanh)^2')
plt.legend()

plt.show()

 

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助