Tensorflow笔记——基于Mnist数据集图片分类的神经网络

 

目录

1.所用到的函数解析

打开图片

显示图片

保存图片

转换图片模式

转化为Numpy数组

文件保存与读取

回调函数

 2.构建神经网络模型

数据集

代码

训练效果

---

本文基于Mnist图像搭建其自己所需数据集，从而对其数据集进行保存，然后对模型进行训练，保存其最优参数，断点续训，实现acc，loss的可视化，对未知图片进行处理然后带入预测。

1.所用到的函数解析

打开图片

img=Image.open('图片文件路径')

显示图片

img.show()

保存图片

img.save('图像名称')

转换图片模式

img.convert('L')

可选参数有：

• 1: 1位像素，黑白，每字节一个像素存储
• L: 8位像素，黑白
• P: 8位像素，使用调色板映射到任何其他模式
• RGB: 3x8位像素，真彩色
• RGBA: 4x8位像素，带透明度掩模的真彩色
• CMYK: 4x8位像素，分色
• YCbCr: 3x8位像素，彩色视频格式
• I: 32位有符号整数像素
• F: 32位浮点像素

转化为Numpy数组

np.array(img)

文件保存与读取

np.load(文件路径)
np.save(文件路径，要保存的数组)

np.load和np.save是读写磁盘数组数据的两个主要函数，默认情况下，数组是以未压缩的原始二进制格式保存在扩展名为.npy的文件中。

np.save()只能保存一维或二维的数据。

回调函数

tf.keras.callbacks.ModelCheckpoint(
    filepath,
    save_best_only=False,
    save_weights_only=False
)

参数
filepath	保存模型的文件路径。
save_best_only	如果 ，则仅当模型被认为是“最佳”时，它才会保存，并且根据监控的数量，最新的最佳模型不会被覆盖。如果不包含格式选项，则将被每个新的更好的模型覆盖。
save_weights_only	如果为 True，则仅保存模型的权重 （），否则保存完整模型 （）。

---

 

 2.构建神经网络模型

 其所用数据集来源于mooch网

数据集

 

 

代码

# -*- coding: utf-8 -*-
# @Time : 2022/8/27 9:49
# @Author : 中意灬
# @FileName: Mnist.py
# @Software: PyCharm
"""第一步：导入相关库"""
import os.path
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from PIL import Image
np.set_printoptions(threshold=np.inf)
"""第二步：准备数据集合"""
train_path="E:/BaiduNetdiskDownload/mnist_image_label/mnist_train_jpg_60000"
train_txt="E:/BaiduNetdiskDownload/mnist_image_label/mnist_train_jpg_60000.txt"
x_train_save_path='./mnist_image_label/mnist_x_train.npy'
y_train_save_path='./mnist_image_label/mnist_y_train.npy'
test_path="E:/BaiduNetdiskDownload/mnist_image_label/mnist_test_jpg_10000"
test_txt="E:/BaiduNetdiskDownload/mnist_image_label/mnist_test_jpg_10000.txt"
x_test_save_path='./mnist_image_label/mnist_x_test.npy'
y_test_save_path='./mnist_image_label/mnist_y_test.npy'

def genrateda(path,txt):
    with open(txt,'r')as f:
        contents=f.readlines()
    x,y=[],[]
    for content in contents:
        value=content.split()
        img_path=path+'/'+value[0]
        img=Image.open(img_path)#打开图片
        img=np.array(img.convert("L"))#将图片转换为灰度图像，即每个像素用八个bit表示，0表示黑，255表示白
        img=img/255#归一化
        x.append(img)
        y.append(value[1])
        print("loading:"+content)
    x=np.array(x)
    y=np.array(y)
    y=y.astype(np.int64)
    return x,y

if os.path.exists(x_test_save_path)and os.path.exists(x_train_save_path) and os.path.exists(y_test_save_path) and os.path.exists(y_train_save_path):
    print('==========Load Dataset==========')
    x_train_sava=np.load(x_train_save_path)
    y_train=np.load(y_train_save_path)
    x_test_save=np.load(x_test_save_path)
    y_test=np.load(y_test_save_path)
    x_train=x_train_sava.reshape(len(x_train_sava),28,28)#由于保存的时候为（60000，n）所以需要转换一下
    x_test=x_test_save.reshape(len(x_test_save),28,28)
    print('==========Load Over==========')
else:
    """初次需要制作数据集"""
    print('==========Genrateda Datasets==========')
    x_train,y_train=genrateda(train_path,train_txt)
    x_test,y_test=genrateda(test_path,test_txt)
    x_train,x_test=x_train/255,x_test/255#归一化，没过像素点为0-255
    """"保存数据集"""
    print('==========Save Datasets==========')
    x_train_save = x_train.reshape(len(x_train), -1)#x_train为（60000，28，28），转换为（60000，n），因为np.save只能保存一维和二维数据
    x_test_save = x_test.reshape(len(x_test), -1)
    np.save(x_train_save_path,x_train_save)
    np.save(x_test_save_path,x_test_save)
    np.save(y_train_save_path,y_train)
    np.save(y_test_save_path,y_test)
    print('==========Save Over==========')
"""第三步：用model.Sequential搭建神经网络结构"""
model=tf.keras.models.Sequential([
    tf.keras.layers.Flatten(input_shape=(28,28)),
    tf.keras.layers.Dense(128,activation='relu'),
    tf.keras.layers.Dense(10,activation='softmax')
])
"""第四步：在model.compile()中配置模型参数"""
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=['sparse_categorical_accuracy'])
""""保存最优模型参数"""
checkpoint_save_path = "./checkpoint/mnist.ckpt"
if os.path.exists(checkpoint_save_path + '.index'):
    print('==========load the model==========')
    model.load_weights(checkpoint_save_path)
"""回滚操作"""
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,
                                                 save_weights_only=True,#是否只保留参数
                                                 save_best_only=True)#是否只保留最优
"""第五步：用model.fit()训练模型"""
history=model.fit(x_train,y_train,batch_size=32,epochs=5,validation_data=(x_test,y_test),validation_freq=1,callbacks=[cp_callback])
#导出最优参数
f=open('trainable_bariables.txt','w')
f.write(str(model.trainable_variables))
f.close()
"""第六步：使用model.summary()打印网络结构"""
model.summary()
"""绘图"""
acc=history.history['sparse_categorical_accuracy']#训练集准确率
val_acc=history.history['val_sparse_categorical_accuracy']#测试集准确率
loss=history.history['loss']#训练集loss
val_loss=history.history['val_loss']#测试集loss
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.figure()
plt.subplot(1,2,1)
plt.plot(acc,label='训练集准确率')
plt.plot(val_acc,label='测试集准确率')
plt.title('测试集与训练集准确率')
plt.legend()
plt.subplot(1,2,2)
plt.plot(loss,label='训练集loss')
plt.plot(val_loss,label='测试集loss')
plt.title('测试集与训练集loss')
plt.legend()
plt.show()
"""预测"""
preNum=int(input('输入你要预测图片的数量'))
for  i  in range(preNum):
     image_path=input('输入图片的路径：')
     img=Image.open(image_path)
     img=img.resize((28,28),Image.ANTIALIAS)#Image.ANTIALTAS---高质量
     img_arr=np.array(img.convert('L'))
     """增强数据特征"""
     for i in range(28):
         for j in range(28):
             if img_arr[i][j]>200:
                 img_arr[i][j]=0
             else:
                 img_arr[i][j]=1
     img_arr=img_arr/255.0 #归一化

     x_predict=img_arr.reshape(1,28,28)#在原数组前增加一个维度

     result=model.predict(x_predict)
     print(np.argmax(result, axis=1))  # 输出类别
     print(result) #输出概率

训练效果

模型准确率与损失值：

模型结构：

 

预测的图片

 对其进行部分处理后如下所示

最终预测效果

 模型参数的保存