Sigmoid与Softmax函数简介

Sigmoid function

A logistic function or logistic curve is a common “S” shape (sigmoid curve). 其实，logistic函数也就是sigmoid函数，它的函数图像也就是一条sigmoid曲线，如下：

logistic曲线如下：

Softmax Function

Softmax is a generalization of logistic function that “squashes” (maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1. softmax函数的本质：就是将一个K为的任意实数向量（压缩）映射为另一个K维的任意实数向量，其中映射后向量中的每一个元素取值都介于（0， 1）之间。

Softmax函数的形式如下：

总结一下

sigmoid将一个real value映射到（0,1）的区间（当然也可以是（-1， 1）），这样可以用来做二分类。而softmax把一个K维的real value向量（a1, a2, a3,…,ak）映射成一个（b1,b2,b3,…,bk）其中bi是一个（0,1）的常数。然后可以根据bi的大小来进行多分类的任务，如取权重大的一维。