深度学习笔记（二）------- softmax和分类模型

SoftMax

模型

softmax函数的本质就是将一个K 维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间，并且压缩后的K个值相加等于1(变成了概率分布)。在选用Softmax做多分类时，可以根据值的大小来进行多分类的任务，如取权重最大的一维。Softmax回归模型是logistic回归模型在多分类问题上的推广，当分类数为2的时候会退化为Logistic分类。.在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的。

交叉熵损失函数

交叉熵损失函数：最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。

交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。

获取Fashion-MNIST训练集和读取数据

import torchvision
#torchvision.datasets: 一些加载数据的函数及常用的数据集接口；
#torchvision.models: 包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；
#torchvision.transforms: 常用的图片变换，例如裁剪、旋转等；
#torchvision.utils: 其他的一些有用的方法。

#其中： 
#train-images-idx3-ubyte.gz (训练数据集图片) 
#train-labels-idx1-ubyte.gz （训练数据集标记类别） 
#t10k-images-idx3-ubyte.gz: （测试数据集） 
#t10k-labels-idx1-ubyte.gz（测试数据集标记类别）


mnist_train = torchvision.datasets.FashionMNIST(root='C:/Users/ztc/01My/FashionMNIST2065', train=True, download=True, transform=transforms.ToTensor())
mnist_test = torchvision.datasets.FashionMNIST(root='C:/Users/ztc/01My/FashionMNIST2065', train=False, download=True, transform=transforms.ToTensor())

print(type(mnist_train))
print(len(mnist_train), len(mnist_test))