caffe 定义自己的python层

因为caffe底层是用c++编写的，所以我们有的时候想要添加某一个最新文献出来的新算法，正常的方法是直接编写c++网络层，然而这个有个前提条件是必须对caffe的底层非常熟悉，c++的编写达到一定的境界，才可灵活应用caffe，搞深度学习，走这条路对于菜鸟来说无疑很有难度。

好在caffe为我们提供了一个可以用python编写新的网络层的方法，直接用python语言编写新的网络层，然后在caffe的网络配置文件，稍作修改，就可以轻松容易创建新的网络层。

简单的示例：

为了方便测试，除了输入层，测试网络仅定义了两个操作层：Pool层和 自定义的Python 层。自定义层完成的功能仅是在数据上加上了一个常数。因此仅需要定义前向传播即可。

test_pro.prototxt :

name: "poolnet"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 1 dim: 3 dim: 512 dim: 512 } }
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "data"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: 'MyPythonLayer'
  type: 'Python'
  top: 'output'
  bottom: 'pool1'
  python_param {
    module: 'mypythonlayer' #mypythonlayer.py
    layer: 'MyLayer'   # 层的类名和mypythonlayer.py中一致
    param_str: "'num': 10,'name':gyl"  #层参数
  }
}

mypythonlayer.py

yaml的作用仅是从str类型的'num: 10' 中解析出10，当然也可以通过其他方法。

# coding=gbk

import caffe
import numpy as np

import yaml

class MyLayer(caffe.Layer):
    def setup(self,bottom,top):
        self.num = yaml.load(self.param_str)["num"]
        # 或者使用下面的形式解析：
        # params = eval(self.param_str)
        # self.num = params['num']
        # self.name = params['name']
        print 'Parameter num :',self.num
    def reshape(self,bottom,up):
        pass;
    def forward(self,bottom,top):
        top[0].reshape(*bottom[0].shape)
        top[0].data[...] = bottom[0].data + self.num
    def backward(self,top,propagate_down,bottom):
        pass

test_newaddlayer.py

# coding=gbk
from scipy.misc.pilutil import *  # read image 
import matplotlib.pyplot as plt  # show image 

import numpy as np  # 两个方法都用

from numpy import *
import tempfile
import caffe 
from caffe import layers as L
from caffe import params as P

from caffe import *

import os
import h5py  # hdf5
import scipy.io as sio  # load .mat file 会按照原样导入到matlab,即行列不发生变化。
from  mat4py import * #  loadmat


net = caffe.Net('test_pro.prototxt',caffe.TEST)
im = np.array(imread('lena.jpg'))


print im.shape #

im = im[:,:,(2,1,0)] 

im = np.transpose(im,(2,0,1)) # h*w*c to c * h * w

net.blobs['data'].reshape(1,3,512,512) # channels height width
net.blobs['data'].data[...] = im
net.forward()

### check result
pool_img = net.blobs['pool1'].data
output   = net.blobs['output'].data

print sum(abs(pool_img-output))
pool_img = pool_img + 10

print sum(abs(pool_img-output))  # result =0

测试过程为，我们输入一幅图像，然后进行一次前向传播，将采样层的结果和最后输出的结果直接是不是相差一个常数。

一个学习示例：

Fully Convolutional Networks for Semantic Segmentation 论文中公布的代码作为示例：
1. 可以学习一下如何自定义python层。
2. 可以学习一下如何 利用：

from caffe import layers as L,params as P

用代码创建prototxt协议。这对程序过程中需要修改协议的内容很重要。

代码也可以从网盘中下载：

http://pan.baidu.com/s/1bpB5w79

参考文献:

1.http://christopher5106.github.io/deep/learning/2015/09/04/Deep-learning-tutorial-on-Caffe-Technology.html
2.http://blog.csdn.net/hjimce/article/details/51884024?locationNum=12&fps=1
3.E:\caffe-windows-lib\examples\pycaffe\layers [pycaffe 例子]