用免费GPU线上优化猫狗识别实践-CSDN博客

本文链接：https://blog.csdn.net/Esent6/article/details/134255110

本文是基于DataWhale的教程写的帖子，更多的是作为一个总结。

猫狗识别项目的主要步骤包括：

准备数据
准备代码
环境配置
模型训练
保存模型

针对上面的代码，下面是对代码的一些解释和说明：

导入必要的库：argparse用于解析命令行参数，tensorflow用于构建和训练模型，os用于与操作系统交互。
创建一个参数解析器对象parser，用于解析命令行参数。在这里，定义了一些可选参数，包括--mode（默认为"train"），--num_epochs（默认为5），--batch_size（默认为32），--learning_rate（默认为0.001），--data_dir（默认为"/gemini/data-1"），--train_dir（默认为"/gemini/output"）。
调用parser.parse_args()解析命令行参数，并将结果保存在args对象中。
定义一个函数_decode_and_resize(filename, label)，用于读取图像文件、解码JPEG图像、调整图像大小并进行归一化处理。它接受两个参数，一个是图像文件名filename，另一个是图像的标签label。函数内部使用TensorFlow的函数来完成这些任务，并返回处理后的图像和标签。
在if __name__ == "__main__":条件下，开始执行主程序。
根据args.data_dir构建训练集目录路径train_dir。
创建两个空列表cats和dogs，用于存储猫和狗的图像文件路径。
使用os.listdir(train_dir)遍历训练集目录中的所有文件。
对于每个文件，根据文件名的前缀判断是猫还是狗，并将对应的文件路径添加到相应的列表中。
打印猫和狗的数量。
使用tf.constant将猫和狗的文件路径列表转换为张量，并取前10000个作为训练集。
使用tf.concat将猫和狗的文件路径张量连接在一起，作为训练集的文件名。
使用tf.concat将猫和狗的标签张量连接在一起，作为训练集的标签。
使用tf.data.Dataset.from_tensor_slices将文件名张量和标签张量合并成一个训练数据集。
使用train_dataset.map应用_decode_and_resize函数对训练数据集中的每个样本进行处理。
使用train_dataset.shuffle对训练数据集进行随机打乱，buffer_size参数指定了打乱时使用的缓冲区大小。
使用train_dataset.batch将训练数据集划分为批次，args.batch_size指定了每个批次中的样本数量。
使用train_dataset.prefetch提前加载下一个批次的数据，以加快训练速度。
创建一个卷积神经网络模型model，包括多个卷积层、池化层、全连接层和输出层。
使用model.compile配置模型的优化器、损失函数和评估指标。
使用model.fit方法训练模型，将训练数据集传递给它，并指定训练的轮数为args.num_epochs。
使用model.save保存训练好的模型到args.train_dir指定的目录。
构建测试数据集，方法与构建训练数据集类似。
创建一个tf.keras.metrics.SparseCategoricalAccuracy对象sparse_categorical_accuracy，用于计算分类准确率。
使用for循环遍历测试数据集，对每个批次的图像进行预测，然后更新分类准确率。
打印测试准确率。