Softmax函数

  $Softmax$ 函数是一种常用的激活函数，通常用于多类别分类问题中。它的原理是将一个向量的元素转化为概率分布，使得每个元素的取值范围在0到1之间，并且所有元素的和为1。$Softmax$ 函数的作用是将原始的线性得分转换为概率分布，使得模型能够对不同类别进行概率预测。在多类别分类问题中，$Softmax$ 函数可以帮助模型选择概率最大的类别作为预测结果。
  $Softmax$ 函数的数学表达式为：
$$Softmax(x_i)=\frac{e^{x_i}}{{\sum }_{j=1}^N{e}^{x_j}}$$
  其中，$Softmax(x_i)$ 表示输入向量中第$i$个元素经过$Softmax$函数后的值，即第$i$个类别的概率预测；$x_i$表示输入向量中第i个元素的原始得分（线性输出）；$N$表示输入向量的维度，即类别的数量；$e$表示自然对数的底数。$Softmax$ 函数常用于神经网络输出层，将模型输出转化为对各个类别的概率预测，从而进行多类别分类。
  下面是使用PyTorch实现Softmax函数的例子：

import torch
import torch.nn as nn

# 定义模型
class ModelWithSoftmax(nn.Module):
    def __init__(self):
        super(ModelWithSoftmax, self).__init__()
        self.fc1 = nn.Linear(10, 5)  # 输入维度为10，输出维度为5

    def forward(self, x):
        x = self.fc1(x)
        x = nn.functional.softmax(x, dim=1)  # 使用PyTorch中的softmax函数
        return x

# 创建模型实例
model = ModelWithSoftmax()

# 输入示例
input_data = torch.randn(3, 10)  # 输入数据维度为(3, 10)

# 模型前向传播
output = model(input_data)

print(output)

  在这个例子中定义了一个包含Softmax函数的简单的全连接神经网络模型。在模型的前向传播中，输入数据经过全连接层（self.fc1），然后通过PyTorch中的nn.functional.softmax函数进行Softmax变换。输出结果为模型对不同类别的概率预测。