AlenNet网络

lenet-5,Alexnet详解以及tensorflow代码实现
神经网络：AlexNet（只讲了第一层，有具体定义，无代码）
神经网络模型之AlexNet的一些总结（主要参考来源，有cafffe下的详细代码，每一层）
AlexNet详解3
AlexNet介绍 - SOC Fudan （贾扬清，很详细，但是是pdf）
Alexnet(含每一层结构图)

---

如上图所示，上图采用是两台GPU服务器，所有会看到两个流程图，我们这里以一台CPU服务器为例做描述.该模型一共分为八层，5个卷积层,，以及3个全连接层,在每一个卷积层中包含了激励函数RELU以及局部响应归一化（LRN）处理，然后在经过降采样（pool处理），下面我们来逐一的对每一层进行分析下吧.

1. conv1层

1.1 卷积层

代码：

layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
   decay_mult: 0
  }
  convolution_param {
    num_output: 96
    kernel_size: 11
    stride: 4
  }
}

输入Input的图像规格：224*224*3（RGB图像）,实际上会经过预处理变为227*227*3

过滤器filter:使用的96个大小规格为11*11的过滤器filter，或者称为卷积核，进行特征提取，（ps:图上之所以看起来是48个是由于采用了2个GPU服务器处理，每一个服务器上承担了48个）RGB三通道，所以滤波器也11*11*3

在卷积的时候，我们会依据这个公式来提取特征图： 【img_size - filter_size 】/stride +1 = new _feture_size ,所以这里我们得到的特征图大小为：
[227-11] / 4 + 1 = 55 (注意【】表示向下取整)
我们得到的新的特征图规格为55*55，注意这里提取到的特征图是彩色的.这样得到了96个55*55大小的特征图了，并且是RGB通道的.即 55*55*96（图中是两个GPU,所以图里显示的是55*55*48）

需要特别说明的一点是，我们在使用过滤器filter和数据进行卷积时（ps: 卷积就是[1,2,3]*[1,1,1] = 1*1+2*1+3*1=6,也就是对应相乘并求和），而且我们使用的卷积核尺寸是11*11，