AlexNet_代码详细

问题背景：昨天了解清除了AlexNet的原理部分，今天着手看看代码。BTW，我是参考别人的文章，不算原创，不过文中会有很多我自己的见解与补充，算是做个笔记吧。
原文链接：
https://blog.csdn.net/taoyanqi8932/article/details/71081390 @yqtaowhu的

---

首先还是PO一下AlexNet的网络结构：

---

@yqtaowhu使用的是CPU运行，怕耗时太久，因此只定义网络结构,并进行前向后向的测试.

# 此函数为输出当前层的参数（层名称、输出尺寸）
def print_activations(t):   #输入为tensor
  print(t.op.name, ' ', t.get_shape().as_list())

#此函数为搭建AlexNet的函数
def inference(images):
  """Build the AlexNet model.
  Args:
    images: Images Tensor
  Returns:
    pool5: the last Tensor in the convolutional component of AlexNet.     #返回conv_5中池化后的结果
    parameters: a list of Tensors corresponding to the weights and biases of the AlexNet model.  #返回权重和偏差列表
  """

  parameters = []  
  # conv1
  with tf.name_scope('conv1') as scope:# 将scope内生成的Variable自动命名为conv1/xxx，区分不同卷积层之间的组件。
    kernel = tf.Variable(tf.truncated_normal([11, 11, 3, 96],dtype=tf.float32,stddev=1e-1), name='weights') #conv1的核是11*11，3是输入channel数（后面的函数run_benchmark()中指定了image的channel是3）,96是输出channel数.stddev标准差0.1
    conv = tf.nn.conv2d(images, kernel, [1, 4, 4, 1], padding='SAME')
    biases = tf.Variable(tf.constant(0.0, shape=[96],dtype=tf.float32),trainable=True, name='biases')  #初始化biases，一维向量，96个元素，全为0
    bias = tf.nn.bias_add(conv, biases)  #把初始biases加到conv
    conv1 = tf.nn.relu(bias, name=scope)  #计算relu
    print_activations(conv1)  #输出当前层参数
    parameters += [kernel, biases]    #更新权重和偏差

  # lrn1 没有用LRN层
  # TODO(shlens, jiayq): Add a GPU version of local response normalization.
  # 考虑到LRN层效果不明显，而且会让forward和backwood的速度大大下降所以在此没有添加