激活函数之softmax函数

1.softmax函数

分类问题中使用的 softmax 函数可以用下面的式表示：

exp(x ) 是表示 e^x 的指数函数（e 是纳皮尔常数 2.7182 …）。式（3.10）表示假设输出层共有 n 个神经元，计算第 k 个神经元的输出 y_k 。如式（3.10）所示，softmax 函数的分子是输入信号 a_k 的指数函数，分母是所有输入信号的指数函数的和。

import numpy as np


def softmax(x):
    exp_a = np.exp(x)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y


if __name__ == '__main__':
    a = np.array([0.3, 2.9, 4.0])
    y = softmax(a)
    print(y)