Caffe python layer 的自定义

翻译 2017年02月17日 16:20:33

还是caffe的自定义层问题。相比于c,python的自定义层更为简单:代码少、外部文件少、方便执行。因此用这种方法实现有利于开发和实验。


准备

首先还是要记得在编译的时候加上WITH_PYTHON_LAYER的选项,如果没有加可以先make clean删除编译后的文件,再重新编译。

WITH_PYTHON_LAYER=1 make && make pycaffe

如果出现

layer_factory.hpp:77] Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: Python

这样的错误,说明这一步没有成功。


net中的添加

在caffe的配置net里我们要输入有关层的信息,下面以EuclideanLossLayer层为例。简单来说我们可以直接使用,因为原本caffe里面已经包括了用c编写的代码,现在我们把它改编为python层。

layer {
  type: 'Python'
  name: 'loss'
  top: 'loss'
  bottom: 'ipx'
  bottom: 'ipy'
  python_param {
    # 模块名 -- 通常也是文件名 -- 需要放在 $PYTHONPATH 中
    module: 'pyloss'
    # 层名 -- 模块里的类名
    layer: 'EuclideanLossLayer'
  }
  # set loss weight so Caffe knows this is a loss layer
  loss_weight: 1
}

python的层文件需要在$PYTHONPATH目录下。在prototxt中,模块名是pyloss,这意味着你的包括EuclideanLossLayer类名的py文件名也应该是pyloss.py


layer文件添加

# pyloss.py
import caffe
import numpy as np

class EuclideanLossLayer(caffe.Layer):

    def setup(self, bottom, top):
        # check input pair
        if len(bottom) != 2:
            raise Exception("Need two inputs to compute distance.")

    def reshape(self, bottom, top):
        # check input dimensions match
        if bottom[0].count != bottom[1].count:
            raise Exception("Inputs must have the same dimension.")
        # difference is shape of inputs
        self.diff = np.zeros_like(bottom[0].data, dtype=np.float32)
        # loss output is scalar
        top[0].reshape(1)

    def forward(self, bottom, top):
        self.diff[...] = bottom[0].data - bottom[1].data
        top[0].data[...] = np.sum(self.diff**2) / bottom[0].num / 2.

    def backward(self, top, propagate_down, bottom):
        for i in range(2):
            if not propagate_down[i]:
                continue
            if i == 0:
                sign = 1
            else:
                sign = -1
            bottom[i].diff[...] = sign * self.diff / bottom[i].num

总结

经测试文件应该没问题,可以读取运行。不过没有现成使用EuclideanLossLayer的网络,最后计算结果没有验证。

Caffe Python Layer

相关文章推荐

Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: Python

在使用caffe的python层时经常容易出现如下错误: Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: ...

Caffe运行自带Demo出现Unknown layer type错误解决

错误描述: 参见:https://github.com/BVLC/caffe/issues/1986 运行sh ./example/mnist/train_lenet.sh时出现错误:layer_fa...

在Caffe中使用Python Layer

Caffe通过Boost中的Boost.Python模块来支持使用Python定义Layer: 使用C++增加新的Layer繁琐、耗时而且很容易出错 开发速度与执行速度之间的trade-o...

caffe如何自定义网络以及自定义层(python)(五)

前面铺垫了这么多,终于到主题了。

Caffe-python interface 学习|网络定义详解

之前用的都是caffe的命令行接口,单独训练还行,不过看里面层的参数、数据还是很麻烦的。特别是这周实验遇到了比较大的问题,命令行无能为力,还是要好好看看python接口。 python 接口编译...
  • Yan_Joy
  • Yan_Joy
  • 2017年01月06日 16:41
  • 1653

caffe python layer

caffe的大多数层是由c++写成的,借助于c++的高效性,网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入,比如你因为是需要在图像中取块而不想写成LMDB,这时候可以考虑使...
  • thesby
  • thesby
  • 2016年04月27日 21:04
  • 17084

caffe 如何调用python层

这两天一直在研究faster rcnn的源码,可是依旧感觉云里雾里,故下定决心把caffe调用python layer的流程仔细走一遍,好明白到底是什么在调用python layer。话说 linux...

caffe中Python层的使用

转载地址:http://blog.csdn.net/wei1033701020/article/details/53815874 caffe的大多数层是由c++写成的,借助于c++的高效性,网络可以快...

caffe中Python层的使用

caffe的大多数层是由c++写成的,借助于c++的高效性,网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入,比如你因为是需要在图像中取块而不想写成LMDB,这时候可以考虑使...

caffe如何自定义网络以及自定义层(python)(四)

刚刚看了一下官方的demo还有两三个,一起学习一下python的使用吧。经过前面的学习,后面就比较简单了。 官网这个代码看似简单了点,但是里面其实已经将自己写好的东西采用python调用了。 进入到p...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Caffe python layer 的自定义
举报原因:
原因补充:

(最多只允许输入30个字)