学习笔记TF016:CNN实现、数据集、TFRecord、加载图像、模型、训练、调试

AlexNet(Alex Krizhevsky,ILSVRC2012冠军)适合做图像分类。层自左向右、自上向下读取，关联层分为一组，高度、宽度减小，深度增加。深度增加减少网络计算量。

训练模型数据集 Stanford计算机视觉站点Stanford Dogs http://vision.stanford.edu/aditya86/ImageNetDogs/ 。数据下载解压到模型代码同一路径imagenet-dogs目录下。包含的120种狗图像。80%训练，20%测试。产品模型需要预留原始数据交叉验证。每幅图像JPEG格式(RGB)，尺寸不一。

图像转TFRecord文件，有助加速训练，简化图像标签匹配，图像分离利用检查点文件对模型进行不间断测试。转换图像格式把颜色空间转灰度，图像修改统一尺寸，标签除上每幅图像。训练前只进行一次预处理，时间较长。

glob.glob 枚举指定路径目录，显示数据集文件结构。“*”通配符可以实现模糊查找。文件名中8个数字对应ImageNet类别WordNetID。ImageNet网站可用WordNetID查图像细节: http://www.image-net.org/synset?wnid=n02085620 。

文件名分解为品种和相应的文件名，品种对应文件夹名称。依据品种对图像分组。枚举每个品种图像，20%图像划入测试集。检查每个品种测试图像是否至少有全部图像的18%。目录和图像组织到两个与每个品种相关的字典，包含各品种所有图像。分类图像组织到字典中，简化选择分类图像及归类过程。

预处理阶段，依次遍历所有分类图像，打开列表中文件。用dataset图像填充TFRecord文件，把类别包含进去。dataset键值对应文件列表标签。record_location 存储TFRecord输出路径。枚举dataset，当前索引用于文件划分，每隔100m幅图像，训练样本信息写入新的TFRecord文件，加快写操作进程。无法被TensorFlow识别为JPEG图像，用try/catch忽略。转为灰度图减少计算量和内存占用。tf.cast把RGB值转换到[0,1)区间内。标签按字符串存储较高效，最好转换为整数索引或独热编码秩1张量。

打开每幅图像，转换为灰度图，调整尺寸，添加到TFRecord文件。tf.image.resize_images函数把所有图像调整为相同尺寸，不考虑长宽比，有扭曲。裁剪、边界填充能保持图像长宽比。

按照TFRecord文件读取图像，每次加载少量图像及标签。修改图像形状有助训练和输出可视化。匹配所有在训练集目录下TFRecord文件加载训练图像。每个TFRecord文件包含多幅图像。tf.parse_single_example只从文件提取单个样本。批运算可同时训练多幅图像或单幅图像，需要足够系统内存。

图像转灰度值为[0,1)浮点类型，匹配convolution2d期望输入。卷积输出第1维和最后一维不改变，中间两维发生变化。tf.contrib.layers.convolution2d创建模型第1层。weights_initializer设置正态随机值，第一组滤波器填充正态分布随机数。滤波器设置trainable，信息输入网络，权值调整，提高模型准确率。
max_pool把输出降采样。ksize、strides ([1,2,2,1])，卷积输出形状减半。输出形状减小，不改变滤波器数量(输出通道)或图像批数据尺寸。减少分量，与图像(滤波器)高度、宽度有关。更多输出通道，滤波器数量增加，2倍于第一层。多个卷积和池化层减少输入高度、宽度，增加深度。很多架构，卷积层和池化层超过5层。训练