2020-11-02 softmax函数 处理一维和二维 防溢出

在使用softmax时，需要对不同维度的数据进行适配，以及防止数据溢出。

def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a-c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

def _softmax(x):
    if x.ndim == 2:
        x = x.T
        x = x - np.max(x, axis=0)
        y = np.exp(x) / np.sum(np.exp(x), axis=0)
        return y.T

    x = x - np.max(x) # 溢出对策
    return np.exp(x) / np.sum(np.exp(x))

def __softmax(x):
    orig_shape=x.shape
    print("orig_shape",orig_shape)

    if len(x.shape)>1:
        #矩阵
        tmp=np.max(x,axis=1)
        x-=tmp.reshape((x.shape[0],1))
        x=np.exp(x)
        tmp=np.sum(x,axis=1)
        x/=tmp.reshape((x.shape[0],1))
        print("matrix")
    else:
        #向量
        tmp=np.max(x)
        x-=tmp
        x=np.exp(x)
        tmp=np.sum(x)
        x/=tmp
        print("vector")
    return x


print(softmax(np.array([1,2,3,4,5])))
print(softmax(np.array([[1,2,3,4,5],[1,2,4,3,5]])))
print(_softmax(np.array([1,2,3,4,5])))
print(_softmax(np.array([[1,2,3,4,5],[1,2,4,3,5]])))
print(__softmax(np.array([1,2,3,4,5])))
print(__softmax(np.array([[1,2,3,4,5],[1,2,4,3,5]])))