AlexNet

 

 

AlexNet流程如下：

 

 

实现细节：

#conv1 (Convolution)kernel size:11 stride:4 pad:0 out_layer:96

#lrn

#relu

#pool1(MAX Pooling)kernel size :3 stride:2 pad:0

 

#conv2 (Convolution)kernel size:5 stride:1 pad:2 out_layer:256

#lrn

#relu

#pool2(MAX Pooling)kernel size :3 stride:2 pad:0

 

#conv3(Convolution)kernel size:3 stride:1 pad:1 out_layer:384

 

#conv4(Convolution)kernel size:3 stride:1 pad:1 out_layer:384

 

#conv5(Convolution)kernel size:3 stride:1 pad:1 out_layer:256

#pool5(MAX Pooling)kernel size:3 stride:2 pad:0

 

#fc6

#relu6

#drop6 out 4096

 

#fc7

#relu7

#drop7 out 4096

 

#fc8 out 1000

 

注意：

lrn在tensorflow中可用下面函数：

tf.nn.local_response_normalization(input, 
                                   depth_radius=None, 
                                   bias=None,
                                   alpha=None, 
                                   beta=None, 
                                   name=None)

除去name参数用以指定该操作的name，与方法有关的一共五个参数：

第一个参数input：这个输入就是feature map了，既然是feature map，那么它就具有[batch, height, width, channels]这样的shape

第二个参数depth_radius：这个值需要自己指定，就是上述公式中的n/2

第三个参数bias：上述公式中的k

第四个参数alpha：上述公式中的α

第五个参数beta：上述公式中的β