《自学习》keras_multi_head的使用方法

最新推荐文章于 2024-09-01 08:42:49 发布

qq_43350126

最新推荐文章于 2024-09-01 08:42:49 发布

阅读量2k

点赞数 3

文章标签：深度学习 tensorflow

本文链接：https://blog.csdn.net/qq_43350126/article/details/115354411

版权

本文介绍如何在Keras中使用`keras_multi_head`库实现多头注意力机制，强调了Flatten函数的作用，以及Conv1D的重要参数。内容包括多头注意力输入输出的维度要求，并通过分析源码确认与《注意力就是你所需要的》论文中的方法一致。文中还提到了理解多头注意力机制的相关资源。

摘要由CSDN通过智能技术生成

《自学习》keras_multi_head的使用方法


import keras
from keras_multi_head import MultiHead


model = keras.models.Sequential()
model.add(keras.layers.Embedding(input_dim=100, output_dim=20, name='Embedding'))
model.add(MultiHead(keras.layers.LSTM(units=32), layer_num=5, name='Multi-LSTMs'))
model.add(keras.layers.Flatten(name='Flatten'))
model.add(keras.layers.Dense(units=4, activation='softmax', name='Dense'))
model.build()
model.summary()

//生成结果如下
Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
Embedding (Embedding)        (None, None, 20)          2000      
_________________________________________________________________
Multi-LSTMs (MultiHead)      (None, 3