Tensorflow实例：实现AlexNet

AlexNet以显著的优势赢得了ILSVRC 2012比赛的冠军，可以说是神经网络在低谷期后的第一次发声，确立了深度学习在计算机视觉的统治地位，同时也推动了深度学习在语音识别、自动语言处理、强化学习等领域的扩展。
AlexNet将LeNet的思想发扬光大，把CNN的基础原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下：

1. 成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。
2. 训练时使用Dropout随机忽略一部分神经元，以避免过拟合
3. 在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出层之间会有重叠和覆盖，提升了特征的丰富性。
4. 提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
5. 使用cuda加速深度卷积网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算。
6. 数据增强，随机地从256*256的原始图像中截取224*224大小的区域。如果没有数据增强，仅靠原始的数据量，参数众多的CNN会陷入过拟合中，使用了数据增强后可以大大减轻过拟合，提升泛化能力。

整个AlexNet包含8个需要训练参数的层（不包括池化层和LRN层），前5层为卷积层，后3层为全连接层。使用ImageNet数据集训练一个完整的AlexNet耗时非常长，因此本文AlexNet的实现将不涉及实际数据的训练。我们会建立一个完整的AlexNet卷积神经网络，然后对它每个batch的前馈计算（forward）和反馈计算（backward）的速度进行测试。这里使用随机图片数据来计算每轮前馈、反馈的平均耗时。

from datetime import datetime
import math
import time
import tensorflow as tf

batch_size = 32
num_batches = 100

# 定义一个用来显示网络每一层结构的函数print_actications,展示每一个卷积层或池化层输出tensor的尺寸。
# 这个函数接受一个tensor作为输入，并显示其名称（t.op.name）和tensor尺寸（t.get_shape.as_list()）

def print_activation(t):
    print(t.op.name, ' ', t.get_shape().as_list())

# 接下来设计AlexNet的网络结构。并将可训练的参数kernel、biases添加到parameters中
def inference(iamges):
    parameters = []

    # 定义第一个卷积层，并在其后添加LRN层和最大池化层
    with tf.name_scope('conv1') as scope:
        kernel = tf.Variable(tf.truncated_normal([11, 11, 3, 64], dtype=tf.float32, stddev=1e-1),