softmax+交叉熵

1、softmax函数

softmax函数的定义为：

softmax函数的特点：
● 函数值在[0,1]之间；
● 所有的softmax(xi)相加的总和是1
面对一个分类问题，能将输出的yi转换成[0,1]的概率，选择最大的概率yi作为分类的结果。

sigmoid函数定义为：

sigmoid函数将每个yi映射到[0,1]之间，但每个yi之间是相互独立的，∑yi与1没有关系，可以用作二分类；而softmax函数的本质是将一个k维数据[a1,a2,a3,…,ak]映射成另外一个K维向量[b1,b2,b3,…,bk]，每个值之间是相互存在关系的，∑ai=∑bi=1，可以用于多分类问题，选取权重最大的一维。

区分sigmoid和softmax使用的场景:
1、有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐