Pycaffe 使用集锦

本文主要是对 Caffe 的 python 接口的一些使用记录，并且包含了一些相关的可以参考链接，有需要的同学可以进一步阅读更丰富相关内容，不仅仅是接口的介绍和使用，也有一些复杂场景使用 PyCaffe 去实现，例如需要修改图结构，节点属性等。

注：本文不包括一些基础的用法，例如如何使用配置环境，如何进行网络的训练，绘制曲线，生成 mean file 文件等内容。

如何通过 Pycaffe 创建网络

在实际使用中，prototxt 可以是理解为纯文本内容，虽然可以直接从其他地方 copy 一段过来，修改成自己想要的样子，可是不够优雅。 通过 Pycaffe 的接口可以像 Pytorch 一样随意构建自己的网络结构：

from caffe import layers as L, params as P
# 定义一个 NetSpec 类型对象
n = caffe.NetSpec()
# 开始向 NetSpec 中添加层
n.data = L.Input(shape=[dict(dim=[1,3,224,224])], ntop=1)

n["conv"] = L.Convolution(n.data, num_output=3, kernel_size=3,
                                weight_filler={"type":"xavier"},
                                bias_filler={"type":"constant"})

以上就可以构建出一个网络了， prototxt 结构像是这样：

layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape {
      dim: 1
      dim: 3
      dim: 9
      dim: 9
    }
  }
}
layer {
  name: "conv"
  type: "Convolution"
  bottom: "data"
  top: "conv"
  convolution_param {
	num_output: 3
	kernel_size: 3
	weight_filler {
  		type: "xavier"
	}
	bias_filler {
  		type: "constant"
	}
  }
}

如何保存 Pycaffe 创建的模型

Caffe 的模型分为两个文件组成： prototxt 结构文件和 caffemodel 权重文件。现在我们接着上面的示例代码，以 NetSpec 对象 n 举例：

保存成 prototxt

  with open('demo.prototxt', 'w') as f:
        f.write(str(n.to_proto()))

这里我们就将 Pycaffe 创建的网络保存到了本地文件，供后续使用。
注意这里构建的网络仅能保存成 prototxt 结构的模型。

prototxt 文件有两个主要用途，一个是作为网络参数结构被读取解析，还有就是用来初始化一个用于训练或者推理的 net 对象。

作为网络参数被解析

    from caffe.proto import caffe_pb2
    
    net_param = caffe_pb2.NetParameter()
    with open('demo.prototxt', 'rb') as f:
        google.protobuf.text_format.Parse(f.read(), net_param)

这里加载进去主要可以利用 protobuf 结构化的读取 prototxt 文件，可以用来查询一些需要的信息，例如节点的名字：

for layer_param in net_param.layer:
    # 查询 layer name
    layer_name = layer_param.name
    # 查询输入，输出的名字
    input_name = layer_param.bottom
    output_name = layer_param.top
    # 查询层的属性及相关数值，以 conv 层为例
    pad = layer_param.convolution_param.pad
    kernel_size = layer_param.convolution_param.kernel_size

初始化 net 对象

初始化可以提供 caffemodel ，也可以只有一个 prototxt 文件，这样权重就是根据 prototxt 里面的设置随机的。

# 权重随机
net = caffe.Net(proto_file, caffe.TEST)
# 加载权重
net = caffe.Net(proto_file, caffemodel_file, caffe.TEST)

如何修改 Pycaffe 创建模型的参数

Caffe 的数据是以 blob 的数据结构传递的，以上面我们定义的只包含单 conv 的 Net 对象 net 为例:

output = net.blobs['data'].data[...]  # 获取节点的输出,输出为 Numpy 节点
conv_weight = net.params['conv'][0].data[...] # 获取节点的参数，输出为 Numpy 节点
conv_bias = net.params['conv'][1].data[...]

如果我们想修改则直接赋值即可：

net.blobs['data'].data[...] = np.random.randn(1,3,9,9)  # 修改输出
net.params['conv'][0].data[...]  = np.random.randn(3,3,3,3) # 修改权重

注意上面的复制要保证数据的 shape 是能够对上的，如果我们需要保存修改 net params 之后的模型权重，直接 net.save("xxx.caffemodel") 即可。

如何修改网络的输入 shape

当我们输入的 shape 改变，与原先 prototxt 中定义的不同时，可以使用 pycaffe 提供的 reshape 接口：

net.blobs[name].reshape(1,3,5,5) # 只改变单层的数据 shape
net.reshape() # 将新的输入 shape 应用到整个网络所有层

逐层运行 caffe layer

pycaffe 的 net 对象设置好以后可以直接调用 net.forward() 进行前向推理，但是这个整个网络的行为，其实它还有一个隐蔽的接口，可以每次只 forward 一层来实现逐层运行。

for i in range(len(net.layers)):