机器学习之softmax实现Fashion-MNIST分类

1.导入MNIST的数据
在开始时我们需要导入MNIST的数据，MNIST的数据可以从github上进行下载Fashion-MNIST数据集，MNIST有四个数据集，分别如下：

train-images-idx3-ubyte.gz: training set images (9912422 bytes)
train-labels-idx1-ubyte.gz: training set labels (28881 bytes)
t10k-images-idx3-ubyte.gz: test set images (1648877 bytes)
t10k-labels-idx1-ubyte.gz: test set labels (4542 bytes)

前两个数据集是训练集，分别是训练集的图片和标签，后两个数据集是测试集，分别是测试集的图片和标签。一共有60000张训练集以及10000张测试集。共10种标签，以0~9数字形式给出，对应的描述如下：

在第一个数据集中，数据是以2进制给出，其中前128位不包含图片信息，它是关于数据集的一些说明。在图片数据集中（包括数据集和训练集），前面有4个信息，都是由32位二进制数表示，第一个信息是magic number图片位2049，第二个信息是样本数，第三个是行数，第四个是列数。描述如下：

其中训练集样本为60000个，测试集样本为10000个。

标签数据集，包含两个头文件信息：

第一个是magic number，第二个是样本个数。下面是matlab导入图片和标签的函数。

function images1=loadImage()
    filename="train-images-idx3-ubyte";%将下载的数据解解压后去掉后缀名得到。
    fid=fopen(filename,"rb");%打开训练集的图片数据集
    A=fread(fid);%读取训练集中的数据，读取后，数据按照每个字节（8位二进制）转化成了十进制数。
    images1=A(17:length(A));%从17位开始是图片信息
    num=A(5:8);%第二个头文件，样本个数
    row=A(9:12);%第三个头文件，行数
    col=A(13:16);%第四个头文件，列数
%下面的操作是将32位二进制数转化为十进制
    num=dec2hex(num);
    row=dec2hex(row);
    col=dec2hex(col);
    num1=[];
    row1=[];
    col1=[];
    for i=1:4
        num1=[num1 num(i,:)];
        row1=[row1,row(i,:)];
        col1=[col1 col(i,:)];
    end
    num1=hex2dec(num1);
    col1=hex2dec(col1);
    row1=hex2dec(row1);
%将图片数据转化为矩阵形式。
    images1=reshape(images1,row1,col1,num1);
    images1=permute(images1,[2,1,3]);
    fclose(fid);
end

为了验证转化的是否正确可以利用imwrite函数将矩阵转化为图片看看是否是数字如取第十个矩阵

a=images1(:,:,50);

imwrite(uint8(a),‘test.tif’)%输出文件名为test.tif。

%imwrite(mat2gray(a), ‘test.tif’);
$\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$

上述得到的数据是$28\times 28\times 60000$，需要转化为$60000\times (28\ast 28)$的形式，以便带入模型中学习，并且需要将数据进行归一化处理

function [x,x_test,y,y_test]=getData()
    %数据文件同函数在同一目录下
    train_imgs="train-images-idx3-ubyte";      %训练集
    train_labels="train-labels-idx1-ubyte";    %训练集标签
    test_imgs="t10k-images-idx3-ubyte";        %测试集
    test_labels="t10k-labels-idx1-ubyte";      %测试集标签
    x=loadImage(train_imgs);
    x_test=loadImage(test_imgs);
    y=loadLabel(train_labels);
    y_test=loadLabel(test_labels);
    
    x=reshape(x,28*28,60000); 
    x=x/255.0;  %归一化处理
    x=x.';      %转置
    
    x_test=reshape(x_test,28*28,10000);
    x_test=x_test/255.0;
    x_test=x_test.';
end

导入标签：

function labels1=loadLabel()
    filename="train-labels-idx1-ubyte";
    fid=fopen(filename,"rb");
    A=fread(fid);
    labels1=A(9:length(A));
    fclose(fid);
end

2.softmax分类

2.1 softmax回归模型

$$\begin{gathered} o_1=x_1{w}_{11}+x_2{w}_{21}+x_3{w}_{31}+x_4{w}_{41}+b_1, \\ {o}_2=x_1{w}_{12}+x_2{w}_{22}+x_3{w}_{32}+x_4{w}_{42}+b_2, \\ {o}_3=x_1{w}_{13}+x_2{w}_{23}+x_3{w}_{33}+x_4{w}_{43}+b_3. \end{gathered}$$

转化为矩阵形式：

$$O=X{W}^T+b$$

假设一共有 $n$个样本，每个样本有 $q$ 个特征， $K$个标签则：

$X\in R^{n\times q}$ 为输入样本

$W\in R^{K\times q}$ 权重

$d\in R^{1\times K}$ 偏置

$O\in R^{n\times k}$

2.2 softmax损失函数

softmax使用交叉熵来计算损失函数
$$H\left({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}\right)=-\sum _{j=1}^q{y}_j^{(i)}\log {\hat{y}}_j^{(i)}$$
$$\ell (\mathbf{\Theta })=\frac{1}{n}\sum _{i=1}^{n}H\left({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}\right)$$

其中 $n$ 表示样本总数， $i$表示第 $i$ 个样本， $j$ 表示第 $j$ 个输出。

$y_j^{(i)}$ 表示第 $i$个样本的真实标签。只有样本 $i 标签为 $j$时， $y_j^{(i)}=1$ ，其他标签位为0；

$${\hat{y}}_j^{(i)}=\frac{e^{O_{ij}}}{{\sum }_{k=1}^K{e}^{O_{ik}}}=\frac{e^{(X_i{W}_{(j,:)}^T+b_j)}}{{\sum }_{k=1}^K{e}^{(X_i{W}_{(k,:)}^T+b_k)}}$$

损失函数可以表示为：

ℓ ( Θ ) = − ( 1 / n ) ∑ i = 1 n ∑ j = 1 K y j ( i ) ln ⁡ y ^ j ( i )