softmax的实现

一  基本思想

softmax是为了实现分类问题而提出，设在某一问题中，样本有x个特征，分类的结果有y类，

此时需要x*y个w，对于样本，需要计算其类别的可能性，进行y次线性运算。对于运算的结果再进行softmax运算。

二 实现

1.导入模块

import torch
from IPython import display
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

2.初始化参数

num_inputs = 784
num_outputs = 10

W = torch.normal(0, 0.01, size=(num_inputs, num_outputs), requires_grad=True)
b = torch.zeros(num_outputs, requires_grad=True)

w中的元素是随机的784*10个元素。b初始为0.

3.定义softmax操作

X = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
X.sum(0, keepdim=True), X.sum(1, keepdim=True)

两个函数分别表示对行和列求和。

def softmax(X):
    X_exp = torch.exp(X)
    partition = X_exp.sum(1, keepdim=True)
    return X_exp / partition  # 这里应用了广播机制

先输入张量X进行指数运算，得到一个新的张量。

然后计算X_exp张量在列上的总和，表示每一个样本的指数之和。

最后相除，得到Softmax运算结果，显然结果与X的大小相同。

4.定义模型

def net(X):
    return softmax(torch.matmul(X.reshape((-1, W.shape[0])), W) + b)

首先对输入的x进行形状变化，然后将其与w进行矩阵乘法运算加上偏置值后进行softmax运算。

5.定义损失函数

def cross_entropy(y_hat, y):
    return - torch.log(y_hat[range(len(y_hat)), y])

cross_entropy(y_hat, y)

计算预测值与实际值的差异。

6.分类精度

def accuracy(y_hat, y):  #@