Keras 自定义层

简单记录以下keras的自定义层的设置:
主要是三个方法的定义,以我自己的代码为例吧!
首先定义一个类,这个类继承了Keras.engine.topology.Layer
1.首先是一些必要参数的初始化,这些参数的初始化写在def __init__(self,)中,然后是一些参数的初始化,记得最后要继承Layer中的一些初始化参数。
2.这部分主要是编写一些要更新的参数def build(self,),如权重等,可以使用 类似self.kernel = self.add_weight(name = '....',shape = [],initializer = 'uniform',trainable = True)的方法来定义一些需要更新的参数变量,也可以使用self.kernel = tf.get_variabletf.Variable()等来定义需要更新的参数变量。
3.最重要的是def call(self,),这部分代码包含了主要代码的实现,前面两个只是定义了一些初始化的参数以及一些需要更新的参数变量,而真正实现LayerNorm类的作用是在call方法中。可以看到call中的一系列操作是对__init__build中变量参数的应用。
4.还有一个方法在小编的代码里面没有用到就是compute_output_shape(input_shape),这个方法的主要作用是如果你的层更改了输入张量的形状,你应该在这里定义形状变化的逻辑,这让Keras能够自动推断各层的形状。显然,在小编需要自定义的LayerNorm中的input_shape和output_shape 是相等的,只是经过了一个norm的过程,并不改变shape。
下面是小编参照Keras中文文档编写的一个LayerNorm,读者可以对比官方文档和这个代码进行自己代码的改写。

import keras.backend as K
import tensorflow as tf 
from keras.engine.topology import Layer
import numpy as np
class LayerNorm(Layer):
  def __init__(self,dims,axis = -1,offset = True,scale = True,eps = 1e-6,dtype = tf.float32,scope = None,**kwargs):
    self.offset = offset
    self.dims = dims
    self.scale = scale
    self.dtype = dtype
    self.axis = axis
    self.eps = eps
    super(LayerNorm,self).__init__(**kwargs)  ## 继承Layer中的初始化参数    
  def build(self,input_shape):
    ## create a trainable weight variable for this layer
    self.offset_var = 0
    if self.offset:
    ## 这里的name参数是不可缺的,但是如果name的字符串是固定的,代码会报错,原来的tensorflow的代码中的name是获得该节点##的名字,但是在keras里面直接获取节点的名字不太方便,所以这里就直接使用默认的参数,name = self.name + '_offset'了
      self.offset_var = tf.get_variable(self.name + 'offset',shape = [self.dims],initializer = tf.zeros_initializer(),dtype = self.dtype)
      
    scale_var = 1
    if self.scale:
      self.scale_var = tf.get_variable(self.name + '_scale',shape = [self.dims],initializer = tf.zeros_initializer(),dtype = self.dtype)
      
#     self.kernel = self.add_weight(name = 'kernel',
#                                   shape = (input_shape[1],self.output_dim),
#                                   initializer = 'uniform'
#                                   trainable = True
#                                  )
    super(LayerNorm,self).build(input_shape)
    
  def call(self,x):
    mean = tf.reduce_mean(x,axis = self.axis,keep_dims = True)
    inverse_stddev = tf.rsqrt(tf.reduce_mean(tf.square(x - mean),axis = self.axis,keep_dims = True) + self.eps)
    normed = (x - mean) * inverse_stddev
    return normed * self.scale_var + self.offset_var

我们可以检验一下:

import keras
from keras.layers import Input
from keras.models import Sequential,Model
filters = 128
inputs = Input(shape = (128,1))
output = LayerNorm(dims = filters)(inputs)
model = Model(input = inputs,output = output)
model.summary()

得到的结果是这样的:
在这里插入图片描述

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Keras 是一个高度模块化的深度学习框架,提供了各种预定义的类型,如全连接、卷积、池化等等。然而,在某些情况下,您可能需要自定义一些来实现您所需的特定功能。在 Keras 中,您可以通过继承 keras.layers.Layer 类来自定义。 以下是一个简单的例子,展示如何使用 Keras 自定义类: ```python import tensorflow as tf from tensorflow import keras class MyLayer(keras.layers.Layer): def __init__(self, output_dim, **kwargs): self.output_dim = output_dim super(MyLayer, self).__init__(**kwargs) def build(self, input_shape): self.kernel = self.add_weight(name='kernel', shape=(input_shape[1], self.output_dim), initializer='uniform', trainable=True) super(MyLayer, self).build(input_shape) def call(self, inputs): return tf.matmul(inputs, self.kernel) def compute_output_shape(self, input_shape): return (input_shape[0], self.output_dim) ``` 在上面的代码中,我们定义了一个名为 MyLayer 的自定义类。该包含一个内部实现,用于将输入张量与内部权重矩阵相乘,以产生输出张量。在这个例子中,我们使用了 TensorFlow 的 matmul 函数来实现这个操作。 我们还实现了两个必需的方法:build 和 compute_output_shape。build 方法用于初始化内部权重,并将它们添加到中。compute_output_shape 方法用于确定输出张量的形状。 要使用自定义,您可以像使用任何其他一样使用它。例如: ```python model = keras.Sequential([ MyLayer(10, input_shape=(784,)), keras.layers.Activation('softmax'), ]) ``` 在上面的代码中,我们创建了一个顺序模型,并将 MyLayer 作为第一添加到模型中。然后,我们添加了一个 softmax 激活,以便产生最终输出。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值