Blobs数据结构的Python表示

转载自：http://blog.csdn.net/jinxueliu31/article/details/52066709

Caffe主要处理两种形式的数据流：
1. 图像和标签在网络上的传输，随着网络的传输，它们转化更高层次的表示，最终以得分或者概率值的形式输出。
2. 第二种数据流，主要保存各个网络层的参数，比如卷积层的weights和bias. 这些值是随着的网络的训练过程不断变化的。

这两种数据流虽然说角色不一样，但是都是以blob的形式进行保存和处理的。

下面以手写体LeNet为例:

import os
import numpy as np
import caffe

caffe_root = '/path/your/caffe'
os.chdir(caffe_root)

solver_prototxt = 'examples/mnist/lenet_solver.prototxt'
solver = caffe.SGDSolver(solver_prototxt)
net = solver.net
 
 
1
2
3
4
5
6
7
8
9
10

第一种形式的数据流保存在net.blobs中

net.blobs
 
 
1

它是有序字典，保存了每一层对应的数据。每个blob保存了data和gradient:

net.blobs['data'].data.shape  # >> (64, 1, 28, 28)
net.blobs['data'].diff.shape  # >> (64, 1, 28, 28)

net.blobs['conv1'].data.shape  # >> (64, 20, 24, 24)
net.blobs['conv1'].diff.shape  # >> (64, 20, 24, 24)

net.blobs['ip1'].data.shape  # >> (64, 500)
net.blobs['ip1'].diff.shape  # >> (64, 500)
 
 
1
2
3
4
5
6
7
8

第二种形式的数据流可以通过net.layers来获得

net.layers
 
 
1

这是一个caffe形式的向量，保存了各层的参数。它的第一层是data layer:

len(net.layers[0].blobs)   # >> 0 
 
 
1

因为输入层没有权重参数，因此blob的个数是0

它的第二层是卷积层：

len(net.layers[1].blobs)  # >> 2

net.layers[1].blobs[0].data.shape  # >>  (20, 1, 5, 5)  conv1 weights
net.layers[1].blobs[1].data.shape  # >>  (20,)  bias
 
 
1
2
3
4

表示有20个卷积核，每个卷积核的大小是5*5，处理1-channel的输入图像。

另一种获得各层参数的方式就是net.params

print net.params['conv1'][0].data.shape   # (20, 1, 5, 5)  conv1 weights
print net.params['conv1'][1].data.shape   # (20,) bias
 
 
1
2

这种方式更直观。