softmax

softmax基本上可以算作是分类任务的标配。

那么什么是softmax呢？

      对于一些激活函数，例如：sigmoid，tanh，relu等，其输出值只有两种(0、1，-1、1，或0、x)，他们对于解决二分类问题比较不错。那么对于多分类的问题怎么解决方便呢？这时就需要使用 softmax。

     softmax看到名字差不多就能猜出它是选取输出结果中的最大值进行分类的，输出值所代表的意义就是概率值。如果判断输入属于某一类的概率大于其他类，那么这个类对应的值就逼近于1，其他值当然就逼近于0。该算法主要用于多分类，而且相互之间是互斥的，即只能属于其中的一类。公式见下：

从公式可以看出，所有的概率值总和为1。

看一下softmax的网络模型：

该模型准备生成3中类型，因此就会产生三个概率值。

例如：某个样本经过生成的值y1为5，y2为3，y3为2。那么对应的概率值就为y1=5/10=0.5, y2=3/10=0.3, y3=2/10=0.2,， 于是最大值y1就是最终的分类。

tensorflow中常用的函数：

操作	描述
tf.nn.softmax(logits, name=None)	计算softmax
tf.nn.log_softmax(logits, name=None)	对softmax取对数 logsoftmax[i,j] = logits[i,j] - log(sum(exp(logits[i])))