动手深度学习3.4：softmax回归

softmax回归本身比较易懂，其公式是：![softmax](https://img-blog.csdnimg.cn/20200214195304159.png)

• 主要作用我理解是通过取百分比，来做成了一个标准化的概率分布。下面对softmax函数做一个实现，本地用简单python实现了一遍，主要是做下课后题，代码如下：

import math

def softmax(a, b , c):
    sum = math.exp(a) +math.exp(b) +math.exp(c)
    i = math.exp(a) / sum
    j = math.exp(b) / sum
    k = math.exp(c) / sum
    return i, j, k

n = softmax(100, 101, 102)
print(n)
n1 = softmax(-2, -1, 0)
print(n1)

有个问题是我顺便验证abc=1000，1010，1020时报错，查网上的别人的博客改为.0后还是报错，看起来是数字溢出了。
然后用pytorch实现如下：

def softmax(X):
    X_exp = X.exp()
    partition = X_exp.sum(dim=1, keepdim=True)
    return X_exp / partition
X = torch.rand((2, 5))
X_prob = softmax(X)
print(X_prob, X_prob.sum(dim=1))

def net(X):
    return softmax(torch.mm(X.view((-1, num_inputs)), W)+ b)
y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]])
y = torch.LongTensor([0, 2])
y_hat.gather(1, y.view(-1, 1))

def evaluate_accuracy(data_iter, net):
    acc_sum, n = 0.0, 0
    for X, y in data_iter:
        acc_sum += (net(X).argmax(dim=1) == y).float().sum().item()
        n += y.shape[0]
    return acc_sum / n
print(evaluate_accuracy(test_iter, net))

1. 定义一个softmax函数，
   定义一个网络和准确度显示，
   最后使用d2l提供的train_ch3来训练模型，
   得到和原文差不多，需要注意的是复习了python的广播机制和交叉熵的推导，在知乎上找了一篇交叉熵和相对熵的文章，基本搞懂了。