Sigmoid function
A logistic function or logistic curve is a common “S” shape (sigmoid curve). 其实,logistic函数也就是sigmoid函数,它的函数图像也就是一条sigmoid曲线,如下:
logistic曲线如下:
Softmax Function
Softmax is a generalization of logistic function that “squashes” (maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1. softmax函数的本质:就是将一个K为的任意实数向量(压缩)映射为另一个K维的任意实数向量,其中映射后向量中的每一个元素取值都介于(0, 1)之间。
Softmax函数的形式如下:
总结一下
sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1, 1)),这样可以用来做二分类。而softmax把一个K维的real value向量(a1, a2, a3,…,ak)映射成一个(b1,b2,b3,…,bk)其中bi是一个(0,1)的常数。然后可以根据bi的大小来进行多分类的任务,如取权重大的一维。