Tensorflow 教程笔记---Custom layers

最新推荐文章于 2024-04-12 12:34:01 发布
最新推荐文章于 2024-04-12 12:34:01 发布
阅读量2.1k 收藏
点赞数 1
分类专栏： Tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yskyskyer123/article/details/86840397
版权 
import tensorflow as tf

tf.enable_eager_execution()

Layers: common sets of useful operations

# In the tf.keras.layers package, layers are objects. To construct a layer,
# simply construct the object. Most layers take as a first argument the number
# of output dimensions / channels.
layer1 = tf.keras.layers.Dense(100)




# The number of input dimensions is often unnecessary, as it can be inferred
# the first time the layer is used, but it can be provided if you want to 
# specify it manually, which is useful in some complex models.
layer2 = tf.keras.layers.Dense(10, input_shape=(None, 5))

layer2

<tensorflow.python.keras.layers.core.Dense at 0x1d403ade320>

layer2.variables

[]

layer2.kernel

---------------------------------------------------------------------------

AttributeError                            Traceback (most recent call last)

<ipython-input-18-db3d8823a28a> in <module>
----> 1 layer2.kernel


AttributeError: 'Dense' object has no attribute 'kernel'

layer2.bias

---------------------------------------------------------------------------

AttributeError                            Traceback (most recent call last)

<ipython-input-19-febf25214da9> in <module>
----> 1 layer2.bias


AttributeError: 'Dense' object has no attribute 'bias'

layer2(tf.zeros([10, 5]))

<tf.Tensor: id=63, shape=(10, 10), dtype=float32, numpy=
array([[0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]], dtype=float32)>

layer2

<tensorflow.python.keras.layers.core.Dense at 0x1d403ade320>

layer2.variables

[<tf.Variable 'dense_4/kernel:0' shape=(5, 10) dtype=float32, numpy=
 array([[ 0.3380643 , -0.41412264,  0.24270028, -0.37291318,  0.03570825,
         -0.4322303 ,  0.06443989, -0.5971137 ,  0.5325952 , -0.00772375],
        [ 0.4133622 ,  0.59908754, -0.09755713, -0.26567465,  0.08671927,
         -0.13092297, -0.25983834,  0.5665671 ,  0.19225448, -0.09533703],
        [ 0.00357974, -0.41751042, -0.22635683,  0.4641264 , -0.09682369,
         -0.40676865, -0.54707146,  0.28351438, -0.49605015,  0.12302268],
        [-0.5200846 ,  0.4993586 ,  0.24658775,  0.09775537,  0.38734215,
          0.37952524,  0.3262958 ,  0.06654131, -0.58187467,  0.5794472 ],
        [-0.01694435, -0.19808507, -0.62873423,  0.5921106 , -0.5697904 ,
          0.1135602 , -0.00901598, -0.01096767, -0.3696053 , -0.36232582]],
       dtype=float32)>,
 <tf.Variable 'dense_4/bias:0' shape=(10,) dtype=float32, numpy=array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], dtype=float32)>]

layer2.kernel

<tf.Variable 'dense_4/kernel:0' shape=(5, 10) dtype=float32, numpy=
array([[ 0.3380643 , -0.41412264,  0.24270028, -0.37291318,  0.03570825,
        -0.4322303 ,  0.06443989, -0.5971137 ,  0.5325952 , -0.00772375],
       [ 0.4133622 ,  0.59908754, -0.09755713, -0.26567465,  0.08671927,
        -0.13092297, -0.25983834,  0.5665671 ,  0.19225448, -0.09533703],
       [ 0.00357974, -0.41751042, -0.22635683,  0.4641264 , -0.09682369,
        -0.40676865, -0.54707146,  0.28351438, -0.49605015,  0.12302268],
       [-0.5200846 ,  0.4993586 ,  0.24658775,  0.09775537,  0.38734215,
         0.37952524,  0.3262958 ,  0.06654131, -0.58187467,  0.5794472 ],
       [-0.01694435, -0.19808507, -0.62873423,  0.5921106 , -0.5697904 ,
         0.1135602 , -0.00901598, -0.01096767, -0.3696053 , -0.36232582]],
      dtype=float32)>

layer2.bias

<tf.Variable 'dense_4/bias:0' shape=(10,) dtype=float32, numpy=array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], dtype=float32)>

layer2.trainable_variables

[<tf.Variable 'dense_4/kernel:0' shape=(5, 10) dtype=float32, numpy=
 array([[ 0.3380643 , -0.41412264,  0.24270028, -0.37291318,  0.03570825,
         -0.4322303 ,  0.06443989, -0.5971137 ,  0.5325952 , -0.00772375],
        [ 0.4133622 ,  0.59908754, -0.09755713, -0.26567465,  0.08671927,
         -0.13092297, -0.25983834,  0.5665671 ,  0.19225448, -0.09533703],
        [ 0.00357974, -0.41751042, -0.22635683,  0.4641264 , -0.09682369,
         -0.40676865, -0.54707146,  0.28351438, -0.49605015,  0.12302268],
        [-0.5200846 ,  0.4993586 ,  0.24658775,  0.09775537,  0.38734215,
          0.37952524,  0.3262958 ,  0.06654131, -0.58187467,  0.5794472 ],
        [-0.01694435, -0.19808507, -0.62873423,  0.5921106 , -0.5697904 ,
          0.1135602 , -0.00901598, -0.01096767, -0.3696053 , -0.36232582]],
       dtype=float32)>,
 <tf.Variable 'dense_4/bias:0' shape=(10,) dtype=float32, numpy=array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], dtype=float32)>]

Implementing custom layers

自己编写的类，继承自tf.keras.layers.Layer,需要实现__init__()、build()、call()。
在调用该层时执行build()和call()

class MyDenseLayer(tf.keras.layers.Layer):
  def __init__(self, num_outputs):
    print("############__init__############")
    super(MyDenseLayer, self).__init__()
    self.num_outputs = num_outputs
    
  def build(self, input_shape):
    print("############build############")
    self.kernel = self.add_variable("kernel", 
                                    shape=[int(input_shape[-1]), 
                                           self.num_outputs])
    
  def call(self, input):
    print("############call############")
    return tf.matmul(input, self.kernel)

print("111111111111111111111")
layer = MyDenseLayer(10)
#print(layer.kernel) 此时print不出来
print("22222222222222222222")
print(layer(tf.zeros([10, 5])))
print("33333333333333333333333")
print(layer.kernel)
print("44444444444444444444444")
print(layer.trainable_variables)

111111111111111111111
############__init__############
22222222222222222222
############build############
############call############
tf.Tensor(
[[0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]], shape=(10, 10), dtype=float32)
33333333333333333333333
<tf.Variable 'my_dense_layer_5/kernel:0' shape=(5, 10) dtype=float32, numpy=
array([[ 0.4840123 ,  0.578486  ,  0.33115482,  0.05877882, -0.3149869 ,
        -0.15885803, -0.2778893 ,  0.481198  , -0.28650752, -0.3946336 ],
       [ 0.219378  ,  0.05505645,  0.33497918,  0.60524505,  0.48022622,
        -0.47166032,  0.15060335, -0.00927895,  0.4026441 ,  0.55857354],
       [ 0.49057072,  0.33128828, -0.4022272 ,  0.39897317,  0.29955244,
         0.4085986 ,  0.30902743, -0.03370214, -0.55020535, -0.24665636],
       [ 0.06957155, -0.3660396 , -0.47823787, -0.07370228, -0.04078197,
        -0.6093094 ,  0.5738266 ,  0.32338107, -0.48439446,  0.59740096],
       [ 0.5742478 , -0.15213162,  0.23062384, -0.21270904,  0.0367111 ,
        -0.01983857, -0.1665029 ,  0.13589978, -0.13847286,  0.28859895]],
      dtype=float32)>
44444444444444444444444
[<tf.Variable 'my_dense_layer_5/kernel:0' shape=(5, 10) dtype=float32, numpy=
array([[ 0.4840123 ,  0.578486  ,  0.33115482,  0.05877882, -0.3149869 ,
        -0.15885803, -0.2778893 ,  0.481198  , -0.28650752, -0.3946336 ],
       [ 0.219378  ,  0.05505645,  0.33497918,  0.60524505,  0.48022622,
        -0.47166032,  0.15060335, -0.00927895,  0.4026441 ,  0.55857354],
       [ 0.49057072,  0.33128828, -0.4022272 ,  0.39897317,  0.29955244,
         0.4085986 ,  0.30902743, -0.03370214, -0.55020535, -0.24665636],
       [ 0.06957155, -0.3660396 , -0.47823787, -0.07370228, -0.04078197,
        -0.6093094 ,  0.5738266 ,  0.32338107, -0.48439446,  0.59740096],
       [ 0.5742478 , -0.15213162,  0.23062384, -0.21270904,  0.0367111 ,
        -0.01983857, -0.1665029 ,  0.13589978, -0.13847286,  0.28859895]],
      dtype=float32)>]

Models: composing layers

class ResnetIdentityBlock(tf.keras.Model):
  def __init__(self, kernel_size, filters):
    super(ResnetIdentityBlock, self).__init__(name='')
    filters1, filters2, filters3 = filters

    self.conv2a = tf.keras.layers.Conv2D(filters1, (1, 1))#输出通道数,卷积核大小1*1
    self.bn2a = tf.keras.layers.BatchNormalization()

    self.conv2b = tf.keras.layers.Conv2D(filters2, kernel_size, padding='same')
    #默认的填充方式是valid，而这里指定为same
    #貌似same是指如果被卷积的位置不够会在输入末端进行填充，再进行卷积;
    #padding='valid'不会填充。
    self.bn2b = tf.keras.layers.BatchNormalization()

    self.conv2c = tf.keras.layers.Conv2D(filters3, (1, 1))
    self.bn2c = tf.keras.layers.BatchNormalization()

  def call(self, input_tensor, training=False):
    x = self.conv2a(input_tensor)
    x = self.bn2a(x, training=training)
    x = tf.nn.relu(x)

    x = self.conv2b(x)
    x = self.bn2b(x, training=training)
    x = tf.nn.relu(x)

    x = self.conv2c(x)
    x = self.bn2c(x, training=training)

    x += input_tensor
    return tf.nn.relu(x)

    
block = ResnetIdentityBlock(1, [1, 2, 3])
print(block(tf.zeros([1, 2, 3, 3])))
print([x.name for x in block.trainable_variables])

tf.Tensor(
[[[[0. 0. 0.]
   [0. 0. 0.]
   [0. 0. 0.]]

  [[0. 0. 0.]
   [0. 0. 0.]
   [0. 0. 0.]]]], shape=(1, 2, 3, 3), dtype=float32)
['resnet_identity_block/conv2d/kernel:0', 'resnet_identity_block/conv2d/bias:0', 'resnet_identity_block/batch_normalization/gamma:0', 'resnet_identity_block/batch_normalization/beta:0', 'resnet_identity_block/conv2d_1/kernel:0', 'resnet_identity_block/conv2d_1/bias:0', 'resnet_identity_block/batch_normalization_1/gamma:0', 'resnet_identity_block/batch_normalization_1/beta:0', 'resnet_identity_block/conv2d_2/kernel:0', 'resnet_identity_block/conv2d_2/bias:0', 'resnet_identity_block/batch_normalization_2/gamma:0', 'resnet_identity_block/batch_normalization_2/beta:0']

卷积输入输出维度: (batch，length，width，number_of_channels)

与caffe和pytorch(batch，number_of_channels，length，width)不同

class MyBlock(tf.keras.Model):
  def __init__(self, kernel_size, filters):
    super(MyBlock, self).__init__(name='')
    filters1, filters2 = filters
    print(filters1,filters2)

    self.conv2a = tf.keras.layers.Conv2D(filters1, (2, 2))#输出通道数,卷积核大小1*1
    #stride默认为(1,1)
                                         
    self.bn2a = tf.keras.layers.BatchNormalization()

    self.conv2b = tf.keras.layers.Conv2D(filters2, (2, 2), padding='same')
    #默认的填充方式是valid，而这里指定为same
    #貌似same是指如果被卷积的位置不够会在输入末端进行填充，再进行卷积;
    #padding='valid'不会填充。
    self.bn2b = tf.keras.layers.BatchNormalization()

  

  def call(self, input_tensor, training=False):
    print(input_tensor.shape)
    out1 = self.conv2a(input_tensor)
    #out1 = self.bn2a(out1, training=training)
    #print(out1)

    print(input_tensor.shape)

    out2= self.conv2b(input_tensor)
    #out2 = self.bn2b(out2, training=training)
    #print(out2)


    
    return out1,out2

    
block = MyBlock(1, [4,5])
out1,out2=block(tf.zeros([2, 4, 4, 3]))
print("out1.shape=",out1.shape)
print("out2.shape=",out2.shape)



4 5
(2, 4, 4, 3)
(2, 4, 4, 3)
out1.shape= (2, 3, 3, 4)
out2.shape= (2, 4, 4, 5)

tf.keras.Sequential

my_seq = tf.keras.Sequential([tf.keras.layers.Conv2D(1, (1, 1)),
                               tf.keras.layers.BatchNormalization(),
                               tf.keras.layers.Conv2D(2, 1, 
                                                      padding='same'),
                               tf.keras.layers.BatchNormalization(),
                               tf.keras.layers.Conv2D(3, (1, 1)),
                               tf.keras.layers.BatchNormalization()])
my_seq(tf.zeros([1, 2, 3, 3]))

<tf.Tensor: id=1701, shape=(1, 2, 3, 3), dtype=float32, numpy=
array([[[[0., 0., 0.],
         [0., 0., 0.],
         [0., 0., 0.]],

        [[0., 0., 0.],
         [0., 0., 0.],
         [0., 0., 0.]]]], dtype=float32)>
PoemK
关注
专栏目录
机器学习笔记 - Keras + TensorFlow2.0 + Unet进行语义分割
学以致用 知行合一
04-19 2129
​ u-net用于生物医学图像分割的卷积网络（MICCAI，2015年） 在生物医学图像处理中，为图像中的每个细胞获取分类标签非常重要。 生物医学任务的最大挑战是成千上万张用于训练的图像不容易获得。 论文（https://arxiv.org/abs/1505.04597）建立在完全卷积层的基础上，并对其进行了修改，以处理一些训练图像并产生更精确的分割。
TensorFlow2.0学习笔记-4.模型的自定义
ruoqi23的博客
08-06 2325
4.模型的自定义 4.1.自定义层 使用的主要数据结构是Layer 实现自定义层的最佳方法是扩展tf.keras.layers.Layer类并实现： • __init__：可以在其中进行所有与输入无关的初始化，定义相关的层 • build： 知道输入张量的形状并可以进行其余的初始化 • call： 在这里进行前向传播 注意：不一定需要在build中创建变量时，也可以在__init__中创建它们。 tf.keras.Model和tf.keras.layers.Layer有什么区别和联系？ •通...
TensorFlow 之 Custom layers
Feynman1999的博客
12-09 517
Custom layers The full list of pre-existing layers can be seen in the documentation. It includes Dense (a fully-connected layer) Conv2D LSTM BatchNormalization Dropout and many others. 主...
PyTorch——自定义层
beilizhang的博客
03-06 809
参考链接 https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter04_DL_computation/4.4_custom-layer 不含模型参数的自定义层 与使用Module类构造模型类似。下面的CenteredLayer类通过继承Module类自定义了一个将输入减掉均值后输出的层，并将层的计算定义在了forward函数里。这个层里不含模型参数。 class MyDense(nn.Module): def __init__(self):
tensorflow2 中关于自定义层的build() 和 call()一点探究
lebhoryi
06-11 1万+
文章目录0x00 先上一段代码0x01 庖丁解牛1 - __init__0x02 庖丁解牛2 -- build()0x03 庖丁解牛3 -- call()0x04 最终输出0x05 总结 0x00 先上一段代码 问题： 在自定义网络层的时候，想要搞清楚build() 和 call() 是用来做什么的，为什么能调用成功，不用外部再定义 # coding=utf-8 ''' @ Summary: test call @ Update: @ file: test.py @ version: 1.
Tensorflow2自定义Layers之__init__,build和call详解
等待戈多的博客
02-19 2835
Tensorflow2自定义Layers之__init__,build和call详解闲言碎语：--init--,build和call总结 参考官方链接：https://tensorflow.google.cn/tutorials/customization/custom_layers 闲言碎语： 如果想要自定义自己的Layer，那么使用tf.keras.Layer 来创建自己的类是必不可少的。 但是笔者最近在搞自己的毕设时，遇到了自定义层和tf.function的Error： ValueError: tf.
[Keras] 使用Keras编写自定义网络层（layer）
热门推荐
u013084616的专栏
02-09 3万+
Keras提供众多常见的已编写好的层对象，例如常见的卷积层、池化层等，我们可以直接通过以下代码调用： # 调用一个Conv2D层 from keras import layers conv2D = keras.layers.convolutional.Conv2D(filters,\ kernel_size, \ strides=(1, 1), \ padding='valid', \ .....
TensorFlow2 -官方教程 :保存和恢复模型
chenvvei的博客
04-23 2666
TensorFlow2 -官方教程保存和恢复模型 准备工作:安装,导入,获取数据集,定义model pip install -q pyyaml h5py # 以 HDF5 格式保存模型所必须 import os import tensorflow as tf from tensorflow import keras print(tf.version.VERSION) 2.3.0 获取示例数据集 要演示如何保存和加载权重，您将使用 MNIST 数据集. 要加快运行速度，请使用前1000个示例： (
学习笔记：能用20-50个模型说明tensorflow？
最新发布
kingking44的博客
04-12 1062
TensorFlow 是一个广泛应用于机器学习和深度学习的开源框架，提供了丰富的功能和工具来构建和训练神经网络模型。 先来 20 个 TensorFlow 相关的实现示例，每个示例都包含基本的调用范例：线性回归模型： 卷积神经网络（CNN）： 循环神经网络（RNN）： 生成对抗网络（GAN）： 自编码器（Autoencoder）： 预训练模型迁移学习： K-Means 聚类： **Word2Vec**： 序列到序列模型： 多层感知机（MLP）： 自定义损失函数：
【学习笔记】Tensorflow-ENet代码学习（一）
野生C++程序员
05-27 2733
针对Tensorflow版ENet，记录一下自己对代码的理解。 *非代码解读（因为水平不足），仅作为自己理解的备忘 **理解有误的地方，希望可以得到大牛的指点 一、文件夹内容（结构） （图片截取自作者kwotsin的ENet...
tensorflow实现custom Estimator的两种方式
abc1925212437的博客
09-08 629
Estimator是tensorflow中对机器学习模型的封装，它可以使代码更加模块化，并且直接使用train()、evaluate()、predict()函数就可以对模型进行训练、评估、预测等操作。 Google官方已经给出了少数模型的Estimator封装，具体可查看这里。相比于应用，这些已经实现的Estimator更多的价值在于教会我们如何将一个模型封装到Estimator中，而更多更复杂...
自定义层详解
Major_S的博客
08-29 625
自定义层详解自定义层详解自定义层详解 import tensorflow as tf print(issubclass(tf.keras.Model,tf.Module)) print(issubclass(tf.keras.layers.Layer,tf.Module)) print(issubclass(tf.keras.Model,tf.keras.layers.Layer)) 下面我们实现上面的线性层 import tensorflow as tf #自定义全连接层 class Linea
Single Shot Detection(SSD)bbox prediction相关的（超）参数
Daniel2333的博客
04-28 3373
参考https://github.com/balancap/SSD-Tensorflow 记录SSD的（超）参数。SSDParameters( img_shape=(300, 300), num_classes=21, no_annotation_label=21, feat_layers=['block4', 'block7', 'block8', 'bloc
Keras 层layers总结
Lynn_0909的博客
09-14 6717
https://blog.csdn.net/u010159842/article/details/78983841
custom layer -制作一个围墙
Zxs021310的专栏
08-25 457
mapbox custom layer使用
深度学习-用户自定义层
chencheng12077的博客
12-09 2353
这篇我们看下如果自定义层，如何做梯度测试，老吴还是很推崇梯度测试的 public class CustomLayerExample { static{ //Double precision for the gradient checks. See comments in the doGradientCheck() method // See also
4.4_custom-layer
taifyang的博客
06-09 131
4.4 自定义层 深度学习的一个魅力在于神经网络中各式各样的层，例如全连接层和后面章节中将要介绍的卷积层、池化层与循环层。虽然PyTorch提供了大量常用的层，但有时候我们依然希望自定义层。本节将介绍如何使用Module来自定义层，从而可以被重复调用。 4.4.1 不含模型参数的自定义层 我们先介绍如何定义一个不含模型参数的自定义层。事实上，这和4.1节（模型构造）中介绍的使用Module类构造模型类似。下面的CenteredLayer类通过继承Module类自定义了一个将输入减掉均值后输出的层，并将层的计
caffe 添加自定义层（custom layer）
weixin_42730667的博客
11-24 833
在《剖析Caffe源码之Layer》可以知道layer是所有层的基类，由此类派生出各种不同的不同的层，其如下图所示： 由此扩展出了各种不同的层，基本能满足要求，但是有时候在搭建拓扑网络时，所需要的层并没有实现，这时就需要用户自己新添加一个layer。添加layer过程相对较为简单，下面将举一个例子进行说明。 用例 下面将以双曲线余弦函数为例子，说明添加一个custom layer过程： ...
tensorflow实现Cross-Attention模块
07-23
要在TensorFlow中实现Cross-Attention模块，您可以按照以下步骤进行操作： 1. 导入所需的库和模块： ```python import tensorflow as tf from tensorflow.keras.layers import Layer, Dense ``` 2. 创建一个自定义的CrossAttention层： ```python class CrossAttention(Layer): def __init__(self, units): super(CrossAttention, self).__init__() self.units = units def build(self, input_shape): self.W1 = self.add_weight(shape=(input_shape[0][-1], self.units), initializer='random_normal', trainable=True) self.W2 = self.add_weight(shape=(input_shape[1][-1], self.units), initializer='random_normal', trainable=True) self.b = self.add_weight(shape=(self.units,), initializer='zeros', trainable=True) super(CrossAttention, self).build(input_shape) def call(self, inputs): query, value = inputs q = tf.matmul(query, self.W1) # Query的线性变换 k = tf.matmul(value, self.W2) # Value的线性变换 scores = tf.matmul(q, tf.transpose(k, [0, 2, 1])) # 计算注意力分数 attention_weights = tf.nn.softmax(scores) # 对注意力分数进行softmax归一化 output = tf.matmul(attention_weights, value) + self.b # 加权求和 return output ``` 3. 使用CrossAttention层： ```python # 创建模型 input_query = tf.keras.Input(shape=(query_len, input_dim)) input_value = tf.keras.Input(shape=(value_len, input_dim)) cross_attention = CrossAttention(units=hidden_dim) output = cross_attention([input_query, input_value]) model = tf.keras.Model(inputs=[input_query, input_value], outputs=output) ``` 在上述代码中，我们首先定义了一个自定义的CrossAttention层，其中build()函数用于创建权重。然后，在call()函数中，我们按照Cross-Attention的计算公式进行操作：通过线性变换获得Query和Value的表示，计算注意力分数，使用softmax归一化注意力分数，最后对Value进行加权求和。最后，我们使用这个CrossAttention层构建了一个模型，并将输入数据传递给该模型以获取输出。 请注意，上述代码仅为示例，您可能需要根据自己的具体需求进行修改和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值