区分点1 — Sigmoid 和 Softmax 区别

sigmoid函数（也叫逻辑斯谛函数）：其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。

logistic曲线如下：

softmax函数的定义：softmax是logistic函数的一般化，它将任意实数的k维向量z压缩(映射)为范围(0,1)内的实数的k维向量矩阵Z，向量Z中的所有元素的总和为1。

这句话既表明了softmax函数与logistic函数的关系，也同时阐述了softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间，所有元素的总和为1。

softmax函数形式如下：

总结： sigmoid将一个real value映射到（0,1）的区间（当然也可以是（-1,1）），这样可以用来做二分类。

而softmax把一个k维的real value向量（a1,a2,a3,a4…）映射成一个（b1,b2,b3,b4…）其中bi是一个0-1的常数，然后可以根据bi的大小来进行多分类的任务，如取权重最大的一维。