本文介绍了使用TensorFlow进行CIFAR-10彩色图片识别的过程，包括环境配置、数据预处理、构建CNN模型、编译与训练、预测分析以及防止过拟合策略的应用。作者通过实际操作演示了如何优化模型并提升准确率。
文章目录
深度学习Week8——利用TensorFlow实现cifar10彩色图片识别
一、前言
二、我的环境
三、前期工作
1、配置环境
2、导入数据
3、归一化
4、图片可视化
四、构建CNN模型
五、编译模型
六、训练模型
七、预测
1、Accuracy图
2、指定图片识别
八、扩展要求
一、前言
- 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
- 🍖 原作者：K同学啊 | 接辅导、项目定制
学习深度学习的第八周，重新学习的第二周
二、我的环境
- 电脑系统：Windows 10
- 语言环境：Python 3.11.3
- 编译器：Pycharm2023.2.3
深度学习环境：TensorFlow
显卡及显存：RTX 3060 8G
三、前期工作
1、导入库并配置环境
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
if gpus:
gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
tf.config.set_visible_devices([gpu0], "GPU")
这一步与pytorch第一步类似，我们在写神经网络程序前无论是选择pytorch还是tensorflow都应该配置好gpu环境（如果有gpu的话）
2、 导入数据
导入cifar10数据，依次分别为训练集图片(train_images)、训练集标签(train_labels)、测试集图片(test_images)、测试集标签(test_labels)，cifar10数据集是著名的公开数据集，我们可以直接用代码进行下载调用
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()
3、归一化
Q：什么是归一化？如何归一化？
A：将像素的值标准化至0到1的区间内。(对于彩色图片来说，每个像素最大值是255，每个像素最小值是0，也就是直接除以255就可以完成归一化。)
Q：为什么要归一化
A：我们归一化的目的将数据转换成具有统一尺度的形式，使得不同特征之间的数值范围相似或相同，使得模型更容易学习到合适的权重，提高模型性能，同时可以将所有特征的尺度统一到一个范围内，避免特征之间不合理的权重分配。
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
输出：
((50000, 32, 32, 3), (10000, 32, 32, 3), (50000, 1), (10000, 1))
这表明我们训练集有50000张32x32像素3通道的图片，测试集有10000张32x32像素的3通道图片
虽然归一化的方法一样，但输出的结果与上周不同，这是因为上周灰度图片是单通道，这周彩色图片是3通道。
4、图片可视化
该数据集为我们分类好每张图片所属于的类，因此我们需要定义一个列表去存储：
# 将数据集前30个图片数据可视化显示
# 为每一类图片创建列表
class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer','dog', 'frog', 'horse', 'ship', 'truck']
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize = (30,10))
for i in range(30):
# 将整个figure分成3行10列，绘制第i + 1个子图。
plt.subplot(3, 10, i + 1)
# 设置不显示x轴刻度
plt.xticks([])
# 设置不显示y轴刻度
plt.yticks([])
plt.grid(False)
# 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
plt.imshow(train_images[i], cmap = plt.cm.binary)
# 设置x轴标签显示为图片对应的数字
plt.xlabel(class_names[train_labels[i][0]])
# 显示图片
plt.show()
四 、构建CNN模型
这是一个重难点，在构建模型之前，我们先来看一看各层有什么作用以及网络结构图
- 输入层：
输入层负责接收原始数据，将数据传递到网络中的第一层。 - 卷积层：
卷积层使用卷积核对输入数据进行滤波操作，以提取图像中的特征。 - 池化层：
池化层用于对卷积层的输出进行下采样，以减少数据的维度和计算量。 - Flatten层：
Flatten层用于将多维的输入数据（如卷积层的输出）压缩成一维的向量。
常用在卷积层到全连接层的过渡，将卷积层输出的特征图展平成一维向量，以便输入到全连接层中进行分类或回归等任务。 - 全连接层：
全连接层起到“特征提取器”的作用，将前面层的特征表示映射到输出层。 - 输出层：
输出层负责输出模型的预测结果。
ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层；
相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
model = models.Sequential([
# 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(32, 32, 3)
layers.Conv2D(32, (3, 3), activation = 'relu', input_shape = (32, 32, 3)),
#池化层1，2*2采样
layers.MaxPooling2D((2, 2)),
# 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
layers.Conv2D(64, (3, 3), activation = 'relu'),
#池化层2，2*2采样
layers.MaxPooling2D((2, 2)),
layers.Flatten(), #Flatten层，连接卷积层与全连接层
layers.Dense(64, activation = 'relu'), #全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
layers.Dense(10) #输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
print(model.summary())
五、编译模型
具体函数解释参考上周博客或者K同学啊的博客！
model.compile(optimizer = 'adam',
loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits = True),
metrics = ['accuracy'])
六、训练模型
# 设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs（10个）
history = model.fit(train_images, train_labels, epochs = 10,
validation_data = (test_images, test_labels))
七、预测
1、Accuracy图
import matplotlib.pyplot as plt
# 绘制训练过程中的准确率曲线
plt.plot(history.history['accuracy'], label='accuracy')
plt.plot(history.history['val_accuracy'], label = 'val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.ylim([0.5, 1])
plt.legend(loc='lower right')
plt.show()
# 计算模型在测试集上的损失值和准确率
test_loss, test_acc = model.evaluate(test_images, test_labels, verbose = 2)
print(test_acc)
结果：
2、指定图片识别
# 预测第一张图片
plt.imshow(test_images[0])
import numpy as np
pre = model.predict(test_images)
print(class_names[np.argmax(pre[0])])
输出：cat
我看不出来，但是通过询问ChatGpt得知：准确！
八、扩展要求
让我们来回顾K同学的要求：
1. 学习如何编写一个完整的深度学习程序（√）已经完美的完成了，十分熟练！
2. 了解分类彩色图片会灰度图片有什么区别
1. 彩色图片通常有3个通道RGB，每个通道对应一个颜色的强度值。
而灰度图片只有一个通道，在0到255之间，0表示黑色，255表示白色。
2. 因此在描述他们俩的数据形状时，彩色图片格式为（高度，宽度，通道数）
灰度图片（高度，宽度，1）但是1好像可以省略不写。
3. 测试集accuracy到达72%
3.1 失败过程
由于我们只差一点点，那我们尝试提高epoch数来看看对测试集的accuracy是否有改变,直接改为20，让效果更明显一点；
history = model.fit(train_images, train_labels, epochs = 20,
validation_data = (test_images, test_labels))
结果是不行，甚至不如原先，说明的模型一定过拟合了！
后续我们又通过查博客，问ChatGpt等方式尝试了很多方法，如利用LearningRateScheduler创建学习率衰减函数，更改Adam优化器为Adagrad等，均未实现目标（这里就不做展示了）
于是，我就查询了K同学啊的下一篇博客，果然，和我想的一样：模型出现了过拟合现象
因此我们用layers.Dropout(0.4)防止过拟合，提高模型的泛化能力。
model = models.Sequential([
# 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
# ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
# 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
layers.Conv2D(32, (3, 3), activation = 'relu', input_shape = (32, 32, 3)),
#池化层1，2*2采样
layers.MaxPooling2D((2, 2)),
# 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
layers.Conv2D(64, (3, 3), activation = 'relu'),
#池化层2，2*2采样
layers.MaxPooling2D((2, 2)),
layers.Dropout(0.4), # 让神经元以一定的概率停止工作，防止过拟合，提高模型的泛化能力。
layers.Flatten(), #Flatten层，连接卷积层与全连接层
layers.Dense(64, activation = 'relu'), #全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
layers.Dense(10) #输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
print(model.summary())
最后我们的结果是：0.7129999995231628
3.2 成功方法
确实有提高，但没有达到72%，那就提高epoch数量，改为15，因为他确实能提高准确率，再加上有layers.Dropout(0.4)函数，可以抑制过拟合的概率；最后我们的结果是：
0.7253999710083008
！！！！！！
成功！
通过本周学习，重新学习到如何提高模型的准确率，以及过拟合、学习率是个啥
- 学习率是优化算法中的一个超参数，它决定了在每次迭代中模型参数更新的幅度，通俗点说，学习率可以理解为我们走路的步伐，步伐太小（学习率太小）我们走的就很慢，需要更多时间（模型学得太慢）步伐太大（学习率太大）就有可能走过了（模型跳过了最优解）。
- 过拟合是指模型在训练集上表现良好，但在测试集或新数据上表现不佳的现象，通俗点说，我们只能对那些特殊情况下的问题表现得很好，但对其他问题却无法做出准确的判断。
385
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
