- 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
- 🍖 原作者:K同学啊
电脑环境:
语言环境:Python 3.8.0
编译器:Jupyter Notebook
深度学习环境:tensorflow 2.15.0
一、前期工作
1.设置GPU(如果使用的是CPU可以忽略这步)
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
if gpus:
gpu0 = gpus[0] #如果有多个GPU,仅使用第0个GPU
tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
tf.config.set_visible_devices([gpu0],"GPU")
2. 导入数据
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
# 导入mnist数据,依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()
3. 归一化
数据归一化使不同量纲的特征处于同一数值量级,减少方差大的特征的影响,使模型更准确。
# 将像素的值标准化至0到1的区间内。(对于灰度图片来说,每个像素最大值是255,每个像素最小值是0,也就是直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出:((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))
"""
4.数据可视化
# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、4长的绘图(单位为英寸inch)
plt.figure(figsize=(20,4))
# 遍历MNIST数据集下标数值0~19
for i in range(20):
# 将整个figure分成2行10列,绘制第i+1个子图。
plt.subplot(2,10,i+1)
# 设置不显示x轴刻度
plt.xticks([])
# 设置不显示y轴刻度
plt.yticks([])
# 设置不显示子图网格线
plt.grid(False)
# 图像展示,cmap为颜色图谱,"plt.cm.binary"为matplotlib.cm中的色表
plt.imshow(train_images[i], cmap=plt.cm.binary)
# 设置x轴标签显示为图片对应的数字
plt.xlabel(train_labels[i])
# 显示图片
plt.show()
5.调整图片格式
使用pytorch进行图像处理时,数据最终输入到网络时的尺寸维度是[batch_size, channels, height, weight]。使用tensorflow时的维度是[batch_size, height, weight, channels]。通道数位置变了。
#调整数据到我们需要的格式
train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出:((60000, 28, 28, 1), (10000, 28, 28, 1), (60000,), (10000,))
"""
二、构建CNN网络
model = models.Sequential([
layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
layers.MaxPooling2D((2, 2)),
layers.Conv2D(64, (3, 3), activation='relu'),
layers.MaxPooling2D((2, 2)),
layers.Flatten(), #Flatten层,连接卷积层与全连接层
layers.Dense(64, activation='relu'), #全连接层,特征进一步提取,64为输出空间的维数
layers.Dense(10) #输出层,输出预期结果,10为输出空间的维数
])
# 打印网络结构
model.summary()
输出:
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d (Conv2D) (None, 26, 26, 32) 320
max_pooling2d (MaxPooling2 (None, 13, 13, 32) 0
D)
conv2d_1 (Conv2D) (None, 11, 11, 64) 18496
max_pooling2d_1 (MaxPoolin (None, 5, 5, 64) 0
g2D)
flatten (Flatten) (None, 1600) 0
dense (Dense) (None, 64) 102464
dense_1 (Dense) (None, 10) 650
=================================================================
Total params: 121930 (476.29 KB)
Trainable params: 121930 (476.29 KB)
Non-trainable params: 0 (0.00 Byte)
_________________________________________________________________
三、编译模型
"""
这里设置优化器、损失函数以及metrics
这三者具体介绍可参考博客:
https://blog.csdn.net/qq_38251616/category_10258234.html
"""
# model.compile()方法用于在配置训练方法时,告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
optimizer='adam',
# 设置损失函数为交叉熵损失函数(tf.keras.losses.SparseCategoricalCrossentropy())
# from_logits为True时,会将y_pred转化为概率(用softmax),否则不进行转换,通常情况下用True结果更稳定
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
# 设置性能指标列表,将在模型训练时监控列表中的指标
metrics=['accuracy'])
四、训练模型
"""
这里设置输入训练数据集(图片及标签)、验证数据集(图片及标签)以及迭代次数epochs
关于model.fit()函数的具体介绍可参考博客:
https://blog.csdn.net/qq_38251616/category_10258234.html
"""
history = model.fit(
# 输入训练集图片
train_images,
# 输入训练集标签
train_labels,
# 设置10个epoch,每一个epoch都将会把所有的数据输入模型完成一次训练。
epochs=10,
# 设置验证集
validation_data=(test_images, test_labels))
输出:
Epoch 1/10
1875/1875 [==============================] - 13s 5ms/step - loss: 0.1419 - accuracy: 0.9572 - val_loss: 0.0470 - val_accuracy: 0.9849
Epoch 2/10
1875/1875 [==============================] - 7s 4ms/step - loss: 0.0469 - accuracy: 0.9857 - val_loss: 0.0565 - val_accuracy: 0.9811
Epoch 3/10
1875/1875 [==============================] - 8s 4ms/step - loss: 0.0318 - accuracy: 0.9904 - val_loss: 0.0340 - val_accuracy: 0.9894
Epoch 4/10
1875/1875 [==============================] - 7s 4ms/step - loss: 0.0240 - accuracy: 0.9922 - val_loss: 0.0326 - val_accuracy: 0.9896
Epoch 5/10
1875/1875 [==============================] - 8s 4ms/step - loss: 0.0173 - accuracy: 0.9945 - val_loss: 0.0273 - val_accuracy: 0.9917
Epoch 6/10
1875/1875 [==============================] - 7s 4ms/step - loss: 0.0141 - accuracy: 0.9954 - val_loss: 0.0368 - val_accuracy: 0.9892
Epoch 7/10
1875/1875 [==============================] - 8s 4ms/step - loss: 0.0120 - accuracy: 0.9962 - val_loss: 0.0380 - val_accuracy: 0.9899
Epoch 8/10
1875/1875 [==============================] - 8s 4ms/step - loss: 0.0093 - accuracy: 0.9967 - val_loss: 0.0288 - val_accuracy: 0.9920
Epoch 9/10
1875/1875 [==============================] - 8s 4ms/step - loss: 0.0077 - accuracy: 0.9972 - val_loss: 0.0351 - val_accuracy: 0.9909
Epoch 10/10
1875/1875 [==============================] - 9s 5ms/step - loss: 0.0067 - accuracy: 0.9979 - val_loss: 0.0370 - val_accuracy: 0.9901
五、预测
查看测试集的第一张图片
plt.imshow(test_images[0])
pre = model.predict(test_images) # 对所有测试图片进行预测
pre[0]
输出:
array([-12.295295 , -6.8074613 , -7.0550156 , -0.22500038,
-6.9359474 , -10.427808 , -22.984123 , 19.57409 ,
-4.20898 , 1.4158278 ], dtype=float32)
索引为7时的输出分数最大,预测正确。