softmax 函数
softmax(柔性最大值)函数,一般在神经网络中, softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率,比如我有一个分类任务,要分为三个类,softmax函数可以根据它们相对的大小,输出三个类别选取的概率,并且概率和为1。
softmax函数的公式是这种形式:
则对于损失函数
计算成本的梯度
其中,
] )
如果i = j,则:
如果i != j,则:
则
softmax(柔性最大值)函数,一般在神经网络中, softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率,比如我有一个分类任务,要分为三个类,softmax函数可以根据它们相对的大小,输出三个类别选取的概率,并且概率和为1。
softmax函数的公式是这种形式:
则对于损失函数
计算成本的梯度
其中,
] )
如果i = j,则:
如果i != j,则:
则