Caffe python layer 的自定义

翻译 2017年02月17日 16:20:33

还是caffe的自定义层问题。相比于c,python的自定义层更为简单:代码少、外部文件少、方便执行。因此用这种方法实现有利于开发和实验。


准备

首先还是要记得在编译的时候加上WITH_PYTHON_LAYER的选项,如果没有加可以先make clean删除编译后的文件,再重新编译。

WITH_PYTHON_LAYER=1 make && make pycaffe

如果出现

layer_factory.hpp:77] Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: Python

这样的错误,说明这一步没有成功。


net中的添加

在caffe的配置net里我们要输入有关层的信息,下面以EuclideanLossLayer层为例。简单来说我们可以直接使用,因为原本caffe里面已经包括了用c编写的代码,现在我们把它改编为python层。

layer {
  type: 'Python'
  name: 'loss'
  top: 'loss'
  bottom: 'ipx'
  bottom: 'ipy'
  python_param {
    # 模块名 -- 通常也是文件名 -- 需要放在 $PYTHONPATH 中
    module: 'pyloss'
    # 层名 -- 模块里的类名
    layer: 'EuclideanLossLayer'
  }
  # set loss weight so Caffe knows this is a loss layer
  loss_weight: 1
}

python的层文件需要在$PYTHONPATH目录下。在prototxt中,模块名是pyloss,这意味着你的包括EuclideanLossLayer类名的py文件名也应该是pyloss.py


layer文件添加

# pyloss.py
import caffe
import numpy as np

class EuclideanLossLayer(caffe.Layer):

    def setup(self, bottom, top):
        # check input pair
        if len(bottom) != 2:
            raise Exception("Need two inputs to compute distance.")

    def reshape(self, bottom, top):
        # check input dimensions match
        if bottom[0].count != bottom[1].count:
            raise Exception("Inputs must have the same dimension.")
        # difference is shape of inputs
        self.diff = np.zeros_like(bottom[0].data, dtype=np.float32)
        # loss output is scalar
        top[0].reshape(1)

    def forward(self, bottom, top):
        self.diff[...] = bottom[0].data - bottom[1].data
        top[0].data[...] = np.sum(self.diff**2) / bottom[0].num / 2.

    def backward(self, top, propagate_down, bottom):
        for i in range(2):
            if not propagate_down[i]:
                continue
            if i == 0:
                sign = 1
            else:
                sign = -1
            bottom[i].diff[...] = sign * self.diff / bottom[i].num

总结

经测试文件应该没问题,可以读取运行。不过没有现成使用EuclideanLossLayer的网络,最后计算结果没有验证。

Caffe Python Layer

Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: Python

在使用caffe的python层时经常容易出现如下错误: Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: ...
  • lanyuxuan100
  • lanyuxuan100
  • 2017年04月18日 18:16
  • 2589

Caffe运行自带Demo出现Unknown layer type错误解决

错误描述: 参见:https://github.com/BVLC/caffe/issues/1986 运行sh ./example/mnist/train_lenet.sh时出现错误:layer_fa...
  • shenck1992
  • shenck1992
  • 2015年10月27日 18:49
  • 5112

【边喝caffee边Caffe 】(三) Check failed: registry.count(t ype) == 1 (0 vs. 1) Unknown layer type

自己建立一个工程,希望调用libcaffe.lib ,各种配置好,也能成功编译,但是运行就会遇到报错 F0519 14:54:12.494139 14504 layer_factory.hpp:77]...
  • fangjin_kl
  • fangjin_kl
  • 2016年03月20日 16:24
  • 10849

Unknown layer type: Python

当用fast-rcnn训练自己的数据集时,遇到registry.count(type) == 1 (0 vs. 1) Unknown layer type: Python 尝试了网上很多种解决方案,...
  • u012910595
  • u012910595
  • 2017年11月07日 16:42
  • 48

windows 下跑python版subcnn和 faster rcnn

前几天搞了下faster rcnn matlab版本的,作者还是很人性的,照顾了我们这些windows用户。这两天在弄subcnn,结果发现源代码是在linux下搞的,于是我就按照作者的步骤开始一步步...
  • chenzhi1992
  • chenzhi1992
  • 2016年09月22日 10:09
  • 6715

caffe python layer

caffe的大多数层是由c++写成的,借助于c++的高效性,网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入,比如你因为是需要在图像中取块而不想写成LMDB,这时候可以考虑使...
  • thesby
  • thesby
  • 2016年04月27日 21:04
  • 19028

在Caffe中使用Python Layer

Caffe通过Boost中的Boost.Python模块来支持使用Python定义Layer: 使用C++增加新的Layer繁琐、耗时而且很容易出错 开发速度与执行速度之间的trade-o...
  • liuheng0111
  • liuheng0111
  • 2016年11月08日 23:01
  • 6334

caffe如何自定义网络以及自定义层(python)(六)

loss层用python改写。 官网里面是有一个做欧式距离的例子。我把我做的流程贴一下。 首先是配置文件euclid.prototxt name: 'EuclideanExample' layer {...
  • langb2014
  • langb2014
  • 2016年11月30日 13:04
  • 4830

caffe添加C++层和python层定义

caffe的网络层类型注册机制。 我们知道,caffe中有很多网络层(layer),每个层并单独定义成一个c++类,如卷积层class ConvolutionLayer、class PoolingL...
  • dataningwei
  • dataningwei
  • 2017年09月06日 17:10
  • 378

梳理caffe代码python_layer(十五)

这一层使用python来调用数据什么的,先看看一些科普知识: boost::python库是pyhon和c++相互交互的框架,可以再python中调用c++的类和方法,也可以让c++调用python...
  • langb2014
  • langb2014
  • 2016年04月18日 15:57
  • 3843
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Caffe python layer 的自定义
举报原因:
原因补充:

(最多只允许输入30个字)