沐神深度学习笔记7（3）

softmax回归的实现：

import torch
from IPython import display
from d2l import torch as d2l

这一块没啥好说的

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

这一块选定了训练的batch_size，同时运用之前封装的迭代器获取了train和test数据集。

num_inputs = 784
#展平每一个图像，将其视为28*28的向量，目前暂且将每一个像素视为一个特征
num_outputs = 10
#我们的数据集有10个维度（labels），所以输出为10

W = torch.normal(0, 0.01, size=(num_inputs, num_outputs), requires_grad=True)
#利用正态分布，初始化W,b,其中，W的形状为784*10，b的形状为10*1
b = torch.zeros(num_outputs, requires_grad=True)

上面定义了input和output同时，初始化了权重和偏移。

回顾矩阵求和：

x.sum(0, keepdim=True)
#这是对行求和，列数不变
x.sum(1, keepdim=True)
#这是对列求和，行数不变

softmax的python实现:

def softmax(X)
    X_exp = torch.exp(X)
    #得到exp
    partition = X_exp.sum(1, keepdim=True)
    #每个数据的exp的和
    return X_exp / partition
    #计算得到概率

实现softmax回归模型：

def net(X):
    return softmax(torch.matmul(X.reshape((-1, W.shape[0])), W) + b)
    #这里x.reshape把输入训练集x构造成256*784的矩阵，再与W矩阵进行内积加上偏置，获得了softmax内 
    #部数据，然后通过softmax获得所要的概率。reshape中的-1表示自动计算。

python中的花式索引：

例子：

y = torch.tensor([0,2])
y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]])
y_hat[[0,1]], y]

输出结果为两个值：0.1和0.5

原理:在上面的代码中，y_hat代表了一个2*3的矩阵，说明，有2个样本3个类别的预测，而y相当于之前的one_hot码，她的0，2分别代表对应样本中正确预测的那个类别，在本个例子中，y_hat样本1的第1个即0，和第二个样本的2即第三个预测正确，那么在最后的输出中，输出了对应的结果。

y_hat[[],[]]中，第一个位置代表真实标号，第二个位置为对应的值。

交叉熵函数：

def cross_entropy(y_hat, y):
    return -torch.log(y_hat[range(len(y_hat)), y])
    #range为从第一行到末尾，每行取出对应的y的值，y是热独码，记录了对应位置yi=1时的情况

将预测类别和真实y相比较：

def accuracy(y_hat, y):
    """计算预测正确的数量."""
    if len(y_hat.shape) > 1 and y_hat.shape[1] > 1:
    #如果y_hat的shape大于1并且y_hat的列数大于1
        y_hat = y_hat.argmax(axis=1)
    #argmax返回每一行所有列中，y_hat最大的索引，然后将索引保存在y_hat中
    cmp = y_hat.type(y.dtype) == y
    #利用type把y_hat的数据类型转换为y的数据类型，然后和y作比较，转化为bool类型，如果索引与y相等
    #则预测正确，cmp = 1，反之为0
    return float(cmp.type(y.dtype).sum())
    #将cmp格式转换，并且求和，得到正确的个数。

评估任意模型net的准确率：

def evaluate_accuracy(net, data_iter):
    """计算在制定数据集上模型的精度"""
    if isinstance(net, torch.nn.Moudle):
        net.eval()
    #把模型设置为评估模式
    metric = Accumulator(2)
    #定义了实用程序类ACC，在本函数中，创建了两个变量，分别存储正确预测数量和预测总数量。
    for X, y in data_iter:
        metric.add(accuracy(net(X), y), y.numel())
    #首先对X进行net运算，求出评测值，然后计算所有预测正确的样本数，y.numel()为所有样本数,然后
    #放入累加器，不断向metric矩阵中加入元素。（注意，这里X是一批次数据）
    return metric[0] / metric[1]
    #返回所有预测正确的样本数和总样本数的比值。

Accumulator实现：

这段代码中：

1.init类用于初始化n个变量，每个变量赋值0.0

2.add类用于将传入的参数加到各个变量上，并保存到self.data中

3.reset类将所有变量重置为0.0

4.getitem用于获取索引位置的变量值