利用keras中的fashion_mnist做一个简单的分类模型

一、Fashion Mnist数据集

Fashion Mnist数据集由70,000张黑白图片构成，每张图片大小为 28x28，由十类服饰图片构成。另一个MNIST数据集是手写数字，Fashion MNIST 与之相比更有挑战性，适合用来验证算法。（摘自TensorFlow 2 文档）

二、构建模型

首先添加所要用的库：

import matplotlib.pyplot as plt
import numpy as np
import sklearn
import pandas as pd
import os
import sys
import time
import tensorflow as tf
from tensorflow import keras
print(tf.__version__)
for moudle in mpl,np,pd,sklearn,tf,keras:
    print(moudle.__name__,moudle.__version__)

我对版本进行了输出：

接着导入数据集：

将数据集划分为训练集和测试集，并对训练集做出进一步的划分，将其划分为验证集（前5000）和训练集，并对其数组形式作出输出。

fashion_mnist=keras.datasets.fashion_mnist#导入数据
(x_train_all,y_train_all),(x_test,y_test)=fashion_mnist.load_data()#拆分训练集和测试集
x_valid,x_train=x_train_all[:5000],x_train_all[5000:]#进一步拆分为训练集和验证集
y_valid,y_train=x_train_all[:5000],y_train_all[5000:]
print(x_valid.shape,y_valid.shape)
print(x_train.shape,y_train.shape)
print(x_test.shape,y_test.shape)

归一化处理：

接着对数据进行归一化处理，所谓归一化处理，就是将数据集映射到一个范围，避免其中某些优势数据造成的影响，并且方便运算。

#数据归一化
from sklearn.preprocessing import StandardScaler

scaler=StandardScaler()
x_train_scaled=scaler.fit_transform(x_train.astype(np.float32).reshape(-1,1)).reshape(-1,28,28)
x_valid_scaled=scaler.transform(x_valid.astype(np.float32).reshape(-1,1)).reshape(-1,28,28)
x_test_scaled=scaler.transform(x_test.astype(np.float32).reshape(-1,1)).reshape(-1,28,28)

 为了更加充分了解这个数据集。在这里做了两个输出数据集得函数，在实际操作可以不要。

def show_single_image(img_arr):#显示单张图片
    plt.imshow(img_arr,cmap="binary")#二值化显示
    plt.show()
show_single_image(x_train[0])
def show_imgs(n_rows,n_cols,x_data,y_data,class_names):
    assert len(x_data)==len(y_data)
    assert n_rows*n_cols<len(x_data)
    plt.figure(figsize=(n_cols*1.4,n_rows*1.6))
    for row in range(n_rows):
        for col in range(n_cols):
            index=n_cols*row+col#计算当前位置
            plt.subplot(n_rows,n_cols,index+1)#画子图,将多个图像画到一个界面上
            plt.imshow(x_data[index],cmap="binary",
                       interpolation='nearest')#显示每个图片,并进行插值操作
            plt.axis('off')#关掉坐标系
            plt.title(class_names[y_data[index]])#加上标题
        plt.show()
        
class_names=['T-shirt','Trousers','Pullover','Dress','Coat','Sandal','Shirt',
             'Sneaker','Bag','Ankle boot']
show_imgs(3,5,x_train,y_train,class_names)

结果： 

构建网络层：

然后，构建神经网络：

model=keras.models.Sequential()
#将图片展开，将28*28的矩阵展平为28*28的一维向量
model.add(keras.layers.Flatten(input_shape=[28,28]))
#全链接层，神经网络的一种，以层次来发掘神经网络，下层单元与上层单元一一链接
model.add(keras.layers.Dense(300,activation="relu"))#添加两个,relu:y=max(0,x)
model.add(keras.layers.Dense(100,activation="relu"))
#控制输出，长度为10的向量。
#softmax将向量变成概率分布,x=[x1,x2,x3]
#softmax运算:y=[e^x1/sum,e^x2/sum,e^x3/sum],(sum=e^x1+e^x2+e^x3)
model.add(keras.layers.Dense(10,activation="softmax"))
#将损失函数和优化方法加到图中去。
#y为长度等于样本数量的向量，故y为一个值，所以用sparse_categorical_crossentropy
model.compile(loss="sparse_categorical_crossentropy",
             optimizer="sgd",metrics=["accuracy"])#参数(损失函数，调整方法,其他所关心指标)

在这里构建了四层的神经网络，使用了sgd方法。

接着让我们看一下模型参数，利用model.summary()函数。

进行训练：

接着我们使用fit函数进行训练，进行10次训练，并对结果进行验证：

history=model.fit(x_train_scaled,y_train,epochs=10,validation_data=(x_test_scaled,y_test))

训练完成，下面看一下训练准确率，并将history里保存的数据绘制成函数图，直观的去看。

test_loss, test_acc = model.evaluate(x_test_scaled, y_test)#查看测试准确率
print('\nTest accuracy:', test_acc)
def plot_learning_curves(history):
    
    pd.DataFrame(history.history).plot(figsize=(8,5))
    plt.grid(True)
    plt.gca().set_ylim(0,1)
    plt.show()
plot_learning_curves(history)

 

 这样一个简单的数据分类模型就做了出来。在数据训练的过程中，要不断的调试参数，防止过拟合现象的出现。