keras加载含有自定义层或函数的模型custom_objects

遗留问题:2019-9-6

1.retinanet_bbox()中__build_anchors出来的anchor和模型的预测值regression = model.outputs[0]之间,基本是box和偏移量的关系,为什么regression不直预测目标的真实位置呢

2.不同尺寸的照片,目标的大小就不一样,网络是如何做到对不同尺寸的适应呢?

 

keras实现自定义层

前言:keras提供众多常见的已编写好的层对象,例如常见的卷积层,池化层等,我们可以直接通过代码调用,keras中的层大致上分为两种类型:

第一种:带有训练参数,比如dense, conv2d层等,我们在训练的过程中需要训练层的权重和偏置项;

第二种: 不带训练参数, 比如dropout, flatten层等, 我们不需要训练它的权重,只需要对输入进行加工处理再输出就行了.

在实际应用中,我们经常需要自己构建一些层对象,以满足某些自定义网络的特殊需求,也无非就是上面两种,一种是带有参数的,一种是不带参数的,不管是哪一种,幸运的是,keras对自定义层都提供了良好的支持.

下面我们着重来看下自定义层

1.dense层解析

2.基类layer中的定义

2. 三个核心方法的解析

  2.1 build方法(我看到retinanet中的自定义层都没有写这个build,是不是可以省略啊)

 2.2 call方法regression

 2.3 compute_output_shape方法

要定制自己的层,需要实现三个方法:

build(input_shape),这是定义权重的方法,可循练得权重应该在这里被加入列表self.trainable_weights中,其他的属性还包括列表self.non_trainable_weights和self.updates(需要更新的形如(tensor,new_tensor)的tuple的列表),这个方法必须设置self.built=True,可以通过super([layer],self).build()实现

call(x): 这是定义层功能的地方,除非你希望你写的层支持masking(这个是啥东东?),否则你只需要关心call的第一个参数:输入张量.

compute_output_shape(input_shape):如果你的层修改了输入数据的shape,你应该在这里指定shape变化的方法,这个函数使得keras可以做自动shape推断,(若我对输入数据的shape没有做改变,是不是这个函数就不用写了?)

我们看一下这个自定义层在retinanet中的一个应用

box回归模型为:

def retinanet_bbox(
    model                 = None,
    nms                   = True,
    class_specific_filter = True,
    name                  = 'retinanet-bbox',
    anchor_params         = None,
    **kwargs
):
    """ Construct a RetinaNet model on top of a backbone and adds convenience functions to output boxes directly.

    This model uses the minimum retinanet model and appends a few layers to compute boxes within the graph.
    These layers include applying the regression values to the anchors and performing NMS.

    Args
        model                 : RetinaNet model to append bbox layers to. If None, it will create a RetinaNet model using **kwargs.
        nms                   : Whether to use non-maximum suppression for the filtering step.
        class_specific_