Tensorflow实现AlexNet

0、CNN结构演化历史的图

一、AlexNet

1、 模型介绍
​ AlexNet是由Alex 　KrizhevskyAlex　Krizhevsky 提出的首个应用于图像分类的深层卷积神经网络，该网络在2012年ILSVRC（ImageNet Large Scale Visual Recognition Competition）图像分类竞赛中以15.3%的top-5测试错误率赢得第一名^{[2]}[2]。AlexNet使用GPU代替CPU进行运算，使得在可接受的时间范围内模型结构能够更加复杂，它的出现证明了深层卷积神经网络在复杂模型下的有效性，使CNN在计算机视觉中流行开来，直接或间接地引发了深度学习的热潮。

2、 模型结构

　　　　　　　　图4.3 AlexNet网络结构图

​ 如图4.3所示，除去下采样（池化层）和局部响应规范化操作（Local Responsible Normalization, LRN），AlexNet一共包含8层，前5层由卷积层组成，而剩下的3层为全连接层。网络结构分为上下两层，分别对应两个GPU的操作过程，除了中间某些层（C_3C3​卷积层和F_{6-8}F6−8​全连接层会有GPU间的交互），其他层两个GPU分别计算结 果。最后一层全连接层的输出作为softmaxsoftmax的输入，得到1000个图像分类标签对应的概率值。除去GPU并行结构的设计，AlexNet网络结构与LeNet十分相似，其网络的参数配置如表4.2所示。

​3、 模型特性
【１】所有卷积层都使用ReLU作为非线性映射函数，使模型收敛速度更快
【２】在多个GPU上进行模型的训练，不但可以提高模型的训练速度，还能提升数据的使用规模
【３】使用LRN对局部的特征进行归一化，结果作为ReLU激活函数的输入能有效降低错误率
【４】重叠最大池化（overlapping max pooling），即池化范围z与步长s存在关系z>sz>s（如S_{max}Smax​中核尺度为3\times3/23×3/2），避免平均池化（average pooling）的平均效应
【５】使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合

4、论文原文翻译及代码
（1）AlexNet论文(ImageNet Classification with Deep Convolutional Neural Networks)(译)
（2）对论文的理解
深度学习AlexNet模型详细分析
（3）代码：https://blog.csdn.net/qq_28123095/article/details/79776329
                  或　https://blog.csdn.net/jyy555555/article/details/80498275
                  或 https://blog.csdn.net/taoyanqi8932/article/details/71081390

二、Tensorflow实现AlexNet

1、设计AlexNet网络结构

from datetime import datetime
import math
import time
import tensorflow as tf
#总共测试100个batch的数据
batch_size=32
num_batches=100

#print_actications:显示网络每层结构的函数
def print_activations(t):
    print(t.op.name,'',t.get_shape().as_list())
    #t.op.name:显示其名称;t.get_shape.as_list():tensor尺寸
    
#1.1、定义Alexnet的卷积层
def inference(images):
    parameters=[]
    #conv1,input=