神经网络的激活函数

神经网络的问题分类

        神经网络中的问题一般被分为回归问题和分类问题，其中回归问题的输出层激活函数一般为恒等函数，而分类问题为softmax函数

        恒等函数的输入即为输出，前后不改变

        softmax函数的表达式为:Y(k)=exp(Ak)/exp(Ai)(i=1,2,...,n)

        代码如下（python）：

        

import numpy as np


def softmax(a):
    exp_a = np.exp(a)  # a为一个Numpy数组
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

上述代码可能出现溢出问题，为了改进softmax函数，在进行指数运算的时候，可以加上或者减去某个常数，不会改变运算结果，为了保证可以正确计算，一般取数组中的最大值，因此代码也可以这样实现：

import numpy as np


def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a - c)  # a为一个Numpy数组
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

        softmax函数的输出是0.0到1.0之间的实数，并且输出的总和为1，因此我们可以把softmax函数的输出解释为“概率”，哪个元素的概率最高，所以答案就是哪个类别。也就是说，通过softmax函数，我们可以用概率的方法处理问题。需要注意的是，即便使用了softmax函数，各个元素之间的大小关系也不会改变，因为exp函数是单调递增的。在实际问题中，输出层的softmax一般会被省略，因为softmax函数不改变元素大小的相对关系，可以节省计算机的运算量。

        输出层的神经元的数量取决于待解决问题的类别，对于分类问题，输出层的神经元的数量一般设定为分类类别的数量。