softmax function

softmax function可以使未规范化的向量（un-normalized vector）规范化，未规范化的向量是指该向量中的元素值可能是负数，可能大于1，可能和大于1。规范化后向量中的元素大小在[0,1]并且和为1。

设z是一个k维向量，(z)得到规范化后的向量：

标准的softmax function是针对向量中的每个元素作用一个指数函数：

 

除了使用e作为基(base) b，我们还可以使用不同的基 b，但要求b>0，或者，因此得到上面红石的推广形式：

在有些领域，基是固定的，然而有些领域，基是变化的。