基于tensorflow搭建cifar-10数据集的识别（1）

往后几篇文章将会做一个cifar-10数据集的识别，用CNN模型来搭建，数据集可以在网上搜素下载到，解压后会有名为‘cifar-10-batches-py’的文件夹，里面已经帮我们分好了五个测试集和一个验证集，共计60000张照片，由于数据量比较庞大，选择在kaggle上面训练模型

在接下来几节中，我会分别从不同模型，不同优化器以及不同的训练次数等多个因素，去比较模型的准确度  

CIFAR10数据集共有60000个样本，每个样本都是一张32*32像素的RGB图像（彩色图像），每个RGB图像又必定分为3个通道（R通道、G通道、B通道）。这60000个样本被分成了50000个训练样本和10000个测试样本。
CIFAR10数据集是用来监督学习训练的，那么每个样本就一定都配备了一个标签值（用来区分这个样本是什么），不同类别的物体用不同的标签值，CIFAR10中有10类物体，标签值分别按照0~9来区分,他们分别是飞机（ airplane ）、汽车（ automobile ）、鸟（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、青蛙（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ） 

在本节中先完成数据的预处理

import pickle
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

import os
for dirname, _, filenames in os.walk('/kaggle/input'):
    for filename in filenames:
        print(os.path.join(dirname, filename))



format_1 = '/kaggle/input/cifar10'

n_batches = 5
train_images = np.empty((0, 32, 32, 3))
train_labels = np.empty((0, 10))
valid_images = np.empty((0, 32, 32, 3))
valid_labels = np.empty((0, 10))

for batch_i in range(1, n_batches + 1):
    with open(format_1 + '/data_batch_' + str(batch_i), mode='rb') as file:
        batch = pickle.load(file, encoding='latin1')
    # 转换数据维度  把3*32*32转换为32*32*3
    images = batch['data'].reshape((len(batch['data']), 3, 32, 32)).transpose(0, 2, 3, 1) / 255

    labels = batch['labels']

    validation_count = int(len(images) * 0.1)
    # 训练数据

    train_images = np.append(train_images, images[:-validation_count], axis=0)

    train_labels = np.append(train_labels, labels[:-validation_count])

    valid_images = np.append(valid_images, images[-validation_count:], axis=0)

    valid_labels = np.append(valid_labels, labels[-validation_count:])

with open(format_1 + '/test_batch', mode='rb') as file:
    batch = pickle.load(file, encoding='latin1')

# 测试数据
test_images = batch['data'].reshape((len(batch['data']), 3, 32, 32)).transpose(0, 2, 3, 1) / 255
test_labels = np.array(batch['labels'])
class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']

import os
for dirname, _, filenames in os.walk('/kaggle/input'):
    for filename in filenames:
        print(os.path.join(dirname, filename))

 这段代码是寻找在kaggle上，上传的自己的文件路径，在kaggle上面上传文件后路径不再是本地文件的路径，我把cifar-10数据集存在了kaggle自己数据文件夹cifar10中