Ｔensorflow使用笔记（２）: 如何构建TFRecords并进行Mini Batch训练

引言

1. 前段时间在做一门课程的期末大作业的时候，用到了TensorFlow,构建了含有两层卷积层的神经网络去做 交通标志的识别，一开始使用 24x24 的图像作为输入（把数据集的图像都resize为24x24）后来感觉应该设计大一点会可靠一点，那就想把输入的图像都改为 64x64 的大小，相应修改了网络一些参数后，run的时候发现出问题了，我还以为是代码没有改好，仔细看一下提示信息：run out of memory 。原来是是内存不足

2. 那在了解到情况后，就上网找方法，于是乎，找到了个普遍的解决方法：使用mini_batch方法训练，好，那下面就是一些整理网上的资料了

什么是Mini_Batch方法

点这里可以看比较简略的介绍。

先简单介绍一下这三个常见的名词：batch_size ,iteration,epoch

1. batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
2. iteration：1个iteration等于使用batchsize个样本训练一次；
3. epoch：1个epoch等于使用训练集中的全部样本训练一次

总体来说Mini_Batch就是介于SGD(随机梯度下降)和BGD(批梯度下降)之间的一种比较不错的方法，batch_size选择合适了，既能提高训练速度，又能求得一个逼近全局最优解的结果（但是在实际运用中应该要多次修改才能获得合适的size），点这里可以看一些关于怎么选择好batch_size的建议

---

怎么实现?

那问题来了，怎么在tensorflow中实现Mini_batch训练呢？一开始我的数据集是使用pickle存在硬盘上的

with open( 'images.pkl') as f:
    # training_images 就是存储了很多的使用opencv读取的图像，它们的类型都是np.array
    training_images = pickle.load(f)

那如果是按照顺序读取，每次从取training_images的一部分，然后再取它的下一部分，似乎很容易实