softmax原理讲解与python代码实现

在 Logistic Regression逻辑回归中我们讲解了如何利用逻辑回归进行二分类。实际上在生活中有很多场景的待分类物品不止有两种，因此我们需要研究一种多分类方法
Softmax回归就是Logistic回归在多分类问题上的推广

原理讲解

对于多类问题，类别标签 y ∈ { 1 , 2 , ⋯   , C } y\in\{1,2,\cdots,C\} y∈{1,2,⋯,C}可以有C个取值，给定一个样本$\mathbf{x}$，Softmax回归预测的属于类别c的条件概率为$$\begin{gathered} p(y=c|\mathbf{x})=\mathrm{softmax}({\mathbf{w}}_c^{\mathrm{T}}\mathbf{x}) \\ =\frac{e^{{\mathbf{w}}_c^{\mathrm{T}}\mathbf{x}}}{{\sum }_{c^{{}^{\prime }}=1}^C{e}^{{\mathbf{w}}_{c^{{}^{\prime }}}^{\mathrm{T}}\mathbf{x}}} \end{gathered}$$其中，${\mathbf{w}}_c$是第c类的权重向量
Softmax回归的决策函数可以表示为$$\begin{gathered} \hat{y}=\stackrel{C}{\underset{c=1}{\mathrm{argmax}}}p(y=c|\mathbf{x}) \\ =\stackrel{C}{\underset{c=1}{\mathrm{argmax}}}{\mathbf{w}}_c^{\mathrm{T}}\mathbf{x} \end{gathered}$$
可以看出当C=2时，就是我们之前讨论过的Logistic回归

参数学习

仍然可以用梯度下降法来完成参数优化
给定N个训练样本$\{({\mathbf{x}}^{(n)},y^{(n)}{\}}_{n=1}^N$，使用交叉熵损失函数来完成参数矩阵$\mathbf{W}$的优化。为了方便起见，用C维的one-hot向量 y ∈ { 0 , 1 } C {\bf y}\in\{0,1\}^C y∈{0,1}C来表示类别标签
风险函数为$$\mathcal{R}(\mathbf{W})=-\frac{1}{N}\sum _{n=1}^N({\mathbf{y}}^{(n)}{)}^{\mathrm{T}}\log {\hat{\mathbf{y}}}^{(n)}$$其中${\hat{\mathbf{y}}}^{(n)}$为样本在每个类别的后验概率
风险函数关于$\mathbf{W}$的梯度为$$\frac{\partial \mathcal{R}(\mathbf{W})}{\partial \mathbf{W}}=-\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}^{(n)}({\mathbf{y}}^{(n)}-{\hat{\mathbf{y}}}^{(n)}{)}^{\mathrm{T}}$$
从而可以采用梯度下降法完成训练

python代码实现

我们下面实现利用softmax回归进行多分类

生成数据集

通过程序生成一个三类样本、两组特征的数据集，如图

样本均值分别为（2.5，-2.5），（0,5），（-5，-5）

导入所需库

import numpy as np
from makedata import MakeData#生成数据，见上“生成数据集”链接
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

定义softmax函数以及标签$\to$one-hot转换函数

def softmax(z):
    # 计算softmax函数
    e_z = np.exp(z - np.max(z))
    return e_z / np.sum(e_z)

def one_hot_encode(y, num_classes):
    # 将标签转换为one-hot编码
    num_samples = y.shape[0]
    one_hot = np.zeros((num_samples, num_classes))
    one_hot[np.arange(num_samples), y] = 1
    return one_hot

定义SoftmaxRegression类

class SoftmaxRegression:
    def __init__(self, num_classes, num_features):
        self.num_classes = num_classes
        self.num_features = num_features
        self.w = np.zeros((num_features, num_classes))
    
    def train(self, X, y, learning_rate=0.01, num_iterations=100):
        num_samples = X.shape[0]
        y_enc = one_hot_encode(y, self.num_classes)
        
        for i in range(num_iterations):
            # 前向传播
            scores = np.dot(X, self.w)
            prob = softmax(scores)
            
            # 反向传播
            gradient = (1 / num_samples) * np.dot(X.T, (prob - y_enc))
            
            # 权重更新
            self.w -= learning_rate * gradient
    
    def predict(self, X):
        scores = np.dot(X, self.w)
        prob = softmax(scores)
        return np.argmax(prob, axis=1)

调用SoftmaxRegression类

if __name__ == '__main__':
    # 创建一个softmax回归模型，假设有3类和2个特征
    model = SoftmaxRegression(num_classes=3, num_features=2)
    M = [[2.5,-2.5],[0,5],[-5,-5]]
    data = MakeData(3, 2, 500, M)
    X,y = data.produce_data()
    y = y.astype(int)
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)
    
    # 训练模型
    model.train(X_train, y_train)
    
    # 使用训练好的模型进行预测
    y_pred = model.predict(X_test)
    accuracy = accuracy_score(y_test, y_pred)
    print(accuracy)  # 输出测试集准确率

输出结果

可见分类效果还是很好的