cuda-convnet 卷积神经网络 一般性结构卷积核个数和输入输出的关系以及输入输出的个数的说明

卷积神经网络 一般性结构卷积核个数和 输入输出的关系以及输入输出的个数的说明:

以cifar-10为例:

Initialized data layer 'data', producing3072 outputs
Initialized data layer 'labels', producing1 outputs
Initialized convolutional layer 'conv1',producing 32x32 64-channel output
Initialized max-pooling layer 'pool1',producing 16x16 64-channel output
Initialized cross-mapresponse-normalization layer 'rnorm1', producing 16x16 64-channel output
Initialized convolutional layer 'conv2',producing 16x16 64-channel output
Initialized cross-map response-normalizationlayer 'rnorm2', producing 16x16 64-channel output
Initialized max-pooling layer 'pool2',producing 8x8 64-channel output
Initialized locally-connected layer'local3', producing 8x8 64-channel output
Initialized locally-connected layer'local4', producing 8x8 32-channel output
Initialized fully-connected layer 'fc10',producing 10 outputs
Initialized softmax layer 'probs',producing 10 outputs
Initialized logistic regression cost'logprob'
Initialized neuron layer 'conv1_neuron',producing 65536 outputs
Initialized neuron layer 'conv2_neuron',producing 16384 outputs
Initialized neuron layer 'local3_neuron',producing 4096 outputs
Initialized neuron layer 'local4_neuron',producing 2048 outputs

 

1、卷积说明：

输入是3个32*32, 共3*1024=3072。每条边padding为2，则内存里实际为3个36*36.

卷积核个数是3维的5*5分别与3个输入进行卷积运算,得到3维的32*32的输出,这里将3维的32*32对应位相加得到一张32*32的feature Map

如果有64个3维的5*5卷积核就有64张feature Map

具体过程图示为：

卷积的权值存取方式为:

第一个5*5作用于第一张输入全图，

第二个5*5作用于第二张输入全图，

第三个5*5作用于第三张输入全图，

再把这三个对应位置相加,在加上biases,得到第一张特征map

最后64个5*5*3重复上面的过程，得到64个特征map

这里weights有3*5*5*64个,biases有64个.

这里输入是3 输出是64，卷积核是5*5权值个数是64* 5*5*3

2、local层说明：

输入是8x8  64-channel output 。每条边padding为1，则内存里实际为64个10*10.

卷积核个数是8*8个的3*3的卷积核分别与单一的一个输入对应位置卷积，得到1个8*8的中间输出O1。这里将8*8个的3*3作用于单一单张输入O1的卷积核组称为A。

现在64维的A分别作用于64个输入，将得到64个中间输出O2（就是64个O1），这里将64维的O2对应位相加得到一张8*8的feature Map。这里将64维的A称作B。

如果有64个B就有64张feature Map，就是最终的输出。

 

Local层和conv层的区别就在于local的单一输入的feature Map不共享卷积核。而conv是共享卷积核的，所以local比conv多了在单一输入的卷积核。

权值存取方式说明:

每一列是64*3*3*8*8=36864；将一列分成64份:每一份就是64*3*3.一份对应输出的一个pixel.

前64*3*3个权值怎么计算的呢:

64个3*3与64个输入的左上角3*3分别卷积,就是第一个3*3与第一个输入的左上角卷积，第二个3*3与第二个输入的左上角卷积，。。。得到64个值,然后这64个值相加再加biases就是第一个输出的左上角的值.