用python实现softmax函数

在深度学习中,softmax函数通常用作输出层的激活函数,将模型的输出转换为概率分布。
例如,在图像分类、文本分类等多分类问题中,我们希望网络能够输出每个类别的概率,以便于选择预测类别。分类问题是数据属于哪一个类别的问题。比如，区分图像中的人是男性还是女性的问题就是分类问题。
而回归问题是根据某个输入预测一个（连续的）数值的问题。比如，根据一个人的图像预测这个人的体重的问题就是回归问题（类似“57.4kg”这样的预测）。

概率输出：Softmax函数可以将网络输出转换为各类别的概率分布,因此在需要概率输出的场景中会使用,如异常检测、风险评估等。
1、这样可以解释模型的输出,并用于计算交叉熵损失函数,用于训练模型进行多分类任务。
2、例如,在图像分类任务中,softmax函数可以将模型输出的 K 维特征向量转换为 K 个类别的概率分布,从而预测图像属于哪个类别。
3、softmax函数的输出是0.0到1.0之间的实数。并且，softmax
函数的输出值的总和是1。

接下来是一个基础的用softmax函数实现神经网络输出的一个例子
首先理解softmax函数是什么。

代码如下：

import numpy as np     #导入numpy用于处理数组、矩阵的库


# 定义model模型和输入
model = np.array([[0.1, 0.3, 0.6], 
                  [0.4, 0.3, 0.3],
                  [0.7, 0.2, 0.1]])  
    #一个二维数组有三行三列，使用model.shape属性可以判断是几行几列的矩阵，表示一个简单的神经网络（此例中输入向量是三行三列的矩阵）
    #model.ndim查看矩阵的维度
    #二维数组的 shape 通常是 (n, m),表示有 n 行 m 列。
    #三维数组的 shape 通常是 (l, n, m),表示有 l 个 n x m 的二维矩阵。

    #使用numpy生成一个一维数组，包含一行三列，表示一个长度为3的输入向量
input = np.array([1.0, 2.0, 3.0])
print(input.shape)


# 定义softmax函数，将输入向量转换为概率分布
def softmax(x):
    exp_x = np.exp(x)
    return exp_x / np.sum(exp_x, axis=1, keepdims=True)  #softmax()函数是什么，指数函数除以他们的和，得到概率分布


# 计算输出
output = np.dot(input, model)   #将input数组与model数组做点乘得到一维数组是一行三列有三个元素，表示输入向量与模型参数做点乘得到softmax的输出
output = output[np.newaxis, :]  # 通常神经网络的输出层是一个二维矩阵,表示每个类别的概率或得分
                                #所以需要将output转换为二维数组
prob = softmax(output)      #对output进行归一化处理，即用softmax函数来求出每个类别的概率



# 测试softmax函数
x = np.array([0.3, 2.9, 4.0])  #将输入变量x转为二维数组
y = softmax(x[np.newaxis, :])
print(y)

最后测试结果如下
![（3，）](https://i-blog.csdnimg.cn/direct/ebd4911fd06c4a5c8a01b96fc22f6ff8.png)

(3,)
[[0.01821127 0.24519181 0.73659691]]
这是神经网络前向传播的基本过程，在此例子中结果代表有74%的概率属于第2个类别，25%概率属于第一个类别，1%的概率属于第0个类别。