tf.keras.layers.Embedding实现共享embedding

最新推荐文章于 2023-08-29 15:34:23 发布
最新推荐文章于 2023-08-29 15:34:23 发布
阅读量2.5k 收藏 1
点赞数 3
分类专栏： tensorflow入门 文章标签： sharedembedding 共享Embedding keras实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ustbbsy/article/details/117930223
版权
本文介绍了如何在keras中实现共享embedding。通过核心代码展示如何构造和使用共享embedding层，并验证了其在不同输入长度情况下的正确性。
摘要由CSDN通过智能技术生成

背景

使用feature_column可以非常方便的实现shared_embedding

tf.feature_column.shared_embedding_columns(shared_column_list, iembedding_size)

但是换成keras后，没有相应的接口。

查找资料，实现了共享embedding

核心代码

from keras.layers import Input, Embedding

first_input = Input(shape = (your_shape_tuple) )
second_input = Input(shape = (your_shape_tuple) )
...

embedding_layer = Embedding(embedding_size)

first_input_encoded = embedding_layer(first_input)
second_input_encoded = embedding_layer(second_input)

资料来源https://stackoverflow.com/questions/42122168/keras-how-to-construct-a-shared-embedding-layer-for-each-input-neuron

Embedding的实现

import tensorflow as tf
t
最低0.47元/天 解锁文章
飞奔的帅帅
关注
专栏目录
tf.keras.layers.Embedding详解
qq_19069557的博客
11-15 1526
tf.keras.layers.Embedding详解
tf.keras.layers.Embedding
NLP与推荐算法
04-30 715
hi各位大佬好，在初始化的时候，想要得到一定shape的Embedding，除了常见的get_variable及Variable就不能用Embedding吗？老子累了一天硬是没搞通这个破玩意，这个东西搞不定意味着代码的修改从tf1到tf2是失败的。也就是说，多GPU模式是肯定跑不了的。 For Recommendation in Deep learning QQ Group 102948747 For Visual in deep learning QQ Group629530787 I'm here .
keras实现share Embedding
ustbbsy的博客
02-23 570
来源：The Functional API Shared layers Another good use for the functional API are models that use shared layers. Shared layers are layer instances that are reused multiple times in the same model -- they learn features that correspond to multiple paths in
TensorFlow tf.keras.layers.Embedding
Claroja
07-26 9470
参考: 从Embedding层到Keras解决文本分类 api应用 How to Use Word Embedding Layers for Deep Learning with Keras 深度学习中Keras中的Embedding层的理解与使用 一文搞懂word embeddding和keras中的embedding 在Keras模型中one-hot编码,Embedding层,使用预训练的词向...
Keras的Embedding函数
zhongzhh8的博客
05-08 4664
我在学习项目https://github.com/zonetrooper32/VDCNN的时候，觉得vdcnn.py里Embedding的用法有误，原代码中的写法为： embedded_chars = Embedding(input_dim=sequence_length, output_dim=embedding_dim)(inputs) #embdding层的输入是inputs Em...
Encoder-Decoer模型共享embedding矩阵，embedding矩阵的参数更新问题
上帝是个娘们的博客
03-29 1354
最近做生成式问答，尝试用bert做encoder，transformer-decoder做decoder框架来做。遇到一个问题，就是我想让decoder共享bert的embedding矩阵，但是由于设置了decoder和encoder学习速率不同，因此，我不知道embedding矩阵参数如何更新？会不会收到decoder端的影响，于是做了下面的实验。 import torch import torch.nn as nn class Encoder(nn.Module): def __init__
keras.layers.Embedding层介绍
sslfk的博客
03-28 4587
本层应用，就是把稀疏矩阵变成一个密集矩阵，也称为查表，因为他们之间是一个一一映射关系。与其对应的是one-hot编码，multi-hot编码，对于特征维度过大的应用，直接使用会造成维度灾难。 Embedding层本质也是一个映射，不过不是映射为on-hot编码，而是映射为一个指定维度的向量，该向量是一个变量，通过学习寻找到最优值；此过程类似word2vec的原理。 而通常输入的特征都是字符串，所以在映射之前先转化为数字，也就是StringLookup对应的count模式所做的事情。 使用方式如下：
嵌入层 tf.keras.layers.Embedding() 介绍【TensorFlow2入门手册】
“365天深度学习训练营”报名进行中～
04-17 3406
函数原型 tf.keras.layers.Embedding( input_dim, output_dim, embeddings_initializer='uniform', embeddings_regularizer=None, activity_regularizer=None, embeddings_constraint=None, mask_zero=False, input_length=None, **kwargs ) 作用 将正整数（索引）转换为固定大小的向量，例
tf.keras.layers模块中的函数
weixin_43213895的博客
08-29 2941
from __future__ import print_function as _print_function import sys as _sys from . import experimental from tensorflow.python.keras.engine.base_layer import Layer from tensorflow.python.keras.engine.input_layer import Input from tensorflow.python.keras.e
快速看懂tf2.0-tf.keras.layersEmbedding()使用方法
qq_34768910的博客
03-14 1万+
tf2.0-tf.keras.layersEmbedding()使用方法 @[TOC]一、
tf.keras.layers.Embedding() 详解
qq_42018521的博客
02-02 3028
输入：二维张量：(batch_size, input_length)。 输出：3D 张量：(batch_size, input_length, output_dim)。
Embedding理解及keras中Embedding参数详解，代码案例说明
wo的博客
09-11 1万+
Embedding理解 嵌入层将正整数（下标）转换为具有固定大小的向量 ------官网 词嵌入是一种语义空间到向量空间的映射，简单说就是把每个词语都转换为固定维数的向量，并且保证语义接近的两个词转化为向量后，这两个向量的相似度也高。 举例说明embedding过程： “Could have done better” 通过索引对该句子进行编码，每个单词分配一个索引，上面的句子就会变成这样： 122 8 114 12 创建嵌入矩阵，即每一个索引需要分配多少维向量，也就是说每个词需要转化为多少维
支持多值带权重、稀疏、共享embedding权重的DSSM召回实现（tensorflow2）
大数据与人工智能
12-22 2218
点击上方“数据与智能”，“星标或置顶公众号”第一时间获取好内容作者 | xulu1352 目前在一家互联网公司从事推荐算法工作编辑 | lily0前序关于DSSM模型原理及实现，网上...
【AI学习笔记】ModuleNotFoundError: No module named ‘keras.layers.embeddings‘
X10的博客
12-02 3961
【AI学习笔记】成功解决：ModuleNotFoundError: No module named 'keras.layers.embeddings'
Keras中的Embedding函数
最新发布
qq_24951479的博客
08-29 811
Embedding是Keras中的一个函数，用于将离散的整数序列转换成连续向量的表示。映射的实现是通过查找嵌入矩阵来完成的，嵌入矩阵的大小为(input_dim, output_dim)，其中input_dim为输入词汇表大小，output_dim为输出的词嵌入维度。对于不同长度的输入序列，Embedding函数会将其转换为固定长度的向量表示，从而方便后续的神经网络模型处理。: Embedding函数可以将高维的离散变量映射到低维的实数向量空间中，从而降低数据的维度。如果有任何问题或疑问，欢迎留言讨论！
keras：3)Embedding层详解
热门推荐
Javis486的专栏
08-26 11万+
详解Keras的Embedding层
TensorFlow2中Embedding层的使用(tf.keras.layers.Embedding)
鹏啊鹏
04-10 6190
文章目录1 简介参数2 示例一2.1数据准备2.2 模型搭建与测试2.3 查看结果3 示例二 1 简介 嵌入层将正整数（下标）转换为具有固定大小的向量，如==[[4],[20]]->[[0.25,0.1],[0.6,-0.2]]== Embedding层只能作为模型的第一层 tf.keras.layers.Embedding( input_dim, output_dim, embeddings_initializer='uniform', embeddings_regu
Embedding Layer
weixin_30784501的博客
05-27 432
在深度学习实验中经常会遇Eembedding层,然而网络上的介绍可谓是相当含糊。比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “嵌入层将正整数（下标）转换为具有固定大小的向量”之外就不愿做过多的解释。那么我们为什么要使用嵌入层 Embedding呢? 主要有这两大原因: 1、使用One-hot 方法编码的向量会很高维也很稀疏。假设我们在做自然语言处理（NLP）中遇到了一个...
【TensorFlow】(三)tf.feature_column.shared_embedding_columns()函数的用法
凝眸伏笔的博客
08-12 5016
将sparse、categorical输入，转为dense column。这类似于embedding_column，不同之处在于它产生嵌入共享相同的嵌入权重列的列表。在TensorFlow2.0中叫tf.feature_column.shared_embeddings()。
tf.keras.layers.Embedding的具体用法
05-26
`tf.keras.layers.Embedding` 是 TensorFlow 中的一个层，用于将整数序列编码为密集向量。它通常用于自然语言处理任务中，例如将单词序列编码为向量序列。 下面是 `tf.keras.layers.Embedding` 的具体用法： ```python tf.keras.layers.Embedding(input_dim, output_dim, input_length) ``` 其中，`input_dim` 表示输入数据的词汇表大小，`output_dim` 表示输出的嵌入向量的维度，`input_length` 表示输入序列的长度。 使用 `tf.keras.layers.Embedding` 可以将输入的整数序列编码为密集向量，例如： ```python import tensorflow as tf # 定义输入序列 inputs = tf.keras.Input(shape=(None,), dtype="int32") # 定义嵌入层 embedding_layer = tf.keras.layers.Embedding(input_dim=1000, output_dim=64) # 将输入序列编码为向量序列 embedded_sequences = embedding_layer(inputs) # 输出编码后的向量序列 print(embedded_sequences.shape) ``` 上述代码中，输入序列的长度为任意长度，词汇表大小为 1000，嵌入向量的维度为 64。`embedded_sequences` 的形状为 `(None, None, 64)`，其中第一个 `None` 表示输入的样本数，第二个 `None` 表示输入序列的长度，第三个 `64` 表示嵌入向量的维度。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值