往后几篇文章将会做一个cifar-10数据集的识别,用CNN模型来搭建,数据集可以在网上搜素下载到,解压后会有名为‘cifar-10-batches-py’的文件夹,里面已经帮我们分好了五个测试集和一个验证集,共计60000张照片,由于数据量比较庞大,选择在kaggle上面训练模型
在接下来几节中,我会分别从不同模型,不同优化器以及不同的训练次数等多个因素,去比较模型的准确度
CIFAR10数据集共有60000个样本,每个样本都是一张32*32像素的RGB图像(彩色图像),每个RGB图像又必定分为3个通道(R通道、G通道、B通道)。这60000个样本被分成了50000个训练样本和10000个测试样本。
CIFAR10数据集是用来监督学习训练的,那么每个样本就一定都配备了一个标签值(用来区分这个样本是什么),不同类别的物体用不同的标签值,CIFAR10中有10类物体,标签值分别按照0~9来区分,他们分别是飞机( airplane )、汽车( automobile )、鸟( bird )、猫( cat )、鹿( deer )、狗( dog )、青蛙( frog )、马( horse )、船( ship )和卡车( truck )
在本节中先完成数据的预处理
import pickle
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import os
for dirname, _, filenames in os.walk('/kaggle/input'):
for filename in filenames:
print(os.path.join(dirname, filename))
format_1 = '/kaggle/input/cifar10'
n_batches = 5
train_images = np.empty((0, 32, 32, 3))
train_labels = np.empty((0, 10))
valid_images = np.empty((0, 32, 32, 3))
valid_labels = np.empty((0, 10))
for batch_i in range(1, n_batches + 1):
with open(format_1 + '/data_batch_' + str(batch_i), mode='rb') as file:
batch = pickle.load(file, encoding='latin1')
# 转换数据维度 把3*32*32转换为32*32*3
images = batch['data'].reshape((len(batch['data']), 3, 32, 32)).transpose(0, 2, 3, 1) / 255
labels = batch['labels']
validation_count = int(len(images) * 0.1)
# 训练数据
train_images = np.append(train_images, images[:-validation_count], axis=0)
train_labels = np.append(train_labels, labels[:-validation_count])
valid_images = np.append(valid_images, images[-validation_count:], axis=0)
valid_labels = np.append(valid_labels, labels[-validation_count:])
with open(format_1 + '/test_batch', mode='rb') as file:
batch = pickle.load(file, encoding='latin1')
# 测试数据
test_images = batch['data'].reshape((len(batch['data']), 3, 32, 32)).transpose(0, 2, 3, 1) / 255
test_labels = np.array(batch['labels'])
class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']
import os for dirname, _, filenames in os.walk('/kaggle/input'): for filename in filenames: print(os.path.join(dirname, filename))
这段代码是寻找在kaggle上,上传的自己的文件路径,在kaggle上面上传文件后路径不再是本地文件的路径,我把cifar-10数据集存在了kaggle自己数据文件夹cifar10中