详解softmax和sigmoid

激活函数简介

从事或对人工智能行业有了解的人员来说，相信对softmax和sigmoid这两个激活函数并不陌生，这两个激活函数实不仅在逻辑回归有应用，也是在面试或笔试中包含的内容，掌握好这两个激活函数及其衍生函数是很重要也是最基础的。下面详细介绍softmax和sigmoid：

softmax函数

在数学上，softmax函数又称归一化指数函数，是逻辑函数的一种推广。它能将一个喊任意实数的k维的向量z的“压缩”到两一个k维向量σ(z) 中，使得每一个元素的范围都在（0, 1)之间，并且所有元素和为1。

softmax函数的性质

softmax函数的公式是：
$$F(x_i)=\frac{exp(x_i)}{{\sum }_{i=0}^{k}exp(x_i)}（i=0,1,2,...k）$$
  x：输入数据；
  exp：指数运算；
  f(x)：函数输出；
  将所有的x值映射到0到1区间内；
 所有x的映射值的和等于1。

softmax函数的使用

• 用于多重分类逻辑回归模型。
• 在构建神经网络时，在不同的层使用softmax函数；softmax在神经网络中是作为一个全连接层出现的，功能是将网络计算后的结果映射到(0, 1)区间，给出每种分类的概率。

softmax的实现代码

python实现

import numpy as np

def softmax(x):
    orig_shape=x.shape
    #根据输入类型是矩阵还是向量分别做softmax
    if len(x.shape)>1:
        #矩阵
        #找到每一行的最大值max，并减去该max值，目的是为了防止exp溢出
        constant_shift=np.max(x,axis=1).reshape(1,-1)
        x-=constant_shift
        #计算exp
        x=np.exp(x)
        #每行求和
        normlize=np.sum(x,axis=1).reshape(1,-1)
        #求softmax
        x/=normlize
    else:
        #向量
        constant_shift=np.max(x)
        x-=constant_shift
        x=np.exp(x)
        normlize=np.sum(x)
        x/=normlize
    assert x.shape==orig_shape
    return x

softmax函数图像

import numpy as np
import matplotlib.pyplot as plt
def softmax(x):
    orig_shape=x.shape
    if len(x.shape)>1:
        constant_shift=np.max(x,axis=1).reshape(1,-1)
        x-=constant_shift
        x=np.exp(x)
        normlize=np.sum(x,axis=1).reshape(1,-1)
        x/=normlize
    else:
        constant_shift=np.max(x)
        x-=constant_shift
        x=np.exp(x)
        normlize=np.sum(x)
        x/=normlize
    assert x.shape==orig_shape
    return x

softmax_inputs = np.arange(0,5)
softmax_outputs=softmax(softmax_inputs)
print("softmax input:: {}".format(softmax_inputs))
print("softmax output:: {}".format(softmax_outputs))
# 画图像
plt.plot(softmax_inputs,softmax_outputs)
plt.xlabel("Softmax Inputs")
plt.ylabel("Softmax Outputs")
plt.show()

从图中可以看出softmax的输入值越大，它的输出值也越大。

sigmoid函数

sigmoid函数是一个生物学上常见的S型函数，也称为S型生长曲线。在sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

sigmoid函数的性质

sigmoid函数的公式是：
$$F(x)=\frac{1}{1+exp(-x)}$$
  x：输入数据；
  exp：指数运算；
  f(x)：函数输出，为浮点数；

sigmoid函数的使用

• Sigmoid函数用于逻辑回归模型中的二进制分类。
• 在神经网络中，sigmoid函数用作激活函数。
• 在统计学中，S形函数图像是常见的累积分布函数。

sigmoid的实现代码

python实现

import numpy as np
def sigmoid(x):
    return 1.0/(1+np.exp(-x))

sigmoid函数绘图

def sigmoid(x):
    return 1.0/(1+np.exp(-x))

sigmoid_inputs = np.arange(-10,10)
sigmoid_outputs=sigmoid(sigmoid(sigmoid_inputs))
print("sigmoid Input :: {}".format(sigmoid_inputs))
print("sigmoid Output :: {}".format(sigmoid_outputs))

plt.plot(sigmoid_inputs,sigmoid_outputs)
plt.xlabel("Sigmoid Inputs")
plt.ylabel("Sigmoid Outputs")
plt.show()

softmax和sigmoid的对比

common	softmax	sigmoid
公式	$F(x_i)=\frac{exp(x_i)}{{\sum }_{i=0}^{k}exp(x_i)}$	$F(x)=\frac{1}{1+exp(-x)}$
本质	离散概率分布	非线性映射
任务	多分类	二分类
定义域	某个一维向量	单个数值
值域	[0, 1]	(0, 1)
结果之和	一定为1	为某个正数