如何理解深度学习中的Embeddings（嵌入）

于 2024-08-21 09:53:44 发布
阅读量244 收藏 2
点赞数 7
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zczyyds/article/details/141383912
版权

作为一名小白，在学习深度学习中经常看到一个词叫做嵌入（Embeddings), 一直很难理解，直到读到了邱锡鹏教授的《神经网络与深度学习》一书，让我有了比较直白的理解。分享给各位。

局部表示和分布式表示

为了让机器能够更好的学习到数据的高层语义特征和底层特征，我们首先要构建好的表示

这里介绍两中表示特征的方式：分布式表示（Distributed Representation）和局部表示（Local Representation）

我们以对颜色进行表示为例，解释这两种表示

局部表示

局部表示就是直接对不同的颜色赋予不同的名字，比如鲜红，枣红，夕阳红，每一个名字对应一种颜色。

对于局部表示，我们可以用一个 |ν| 维度的one-hot向量 ν 来表示，对于第i种颜色，向量 ν 的第i个维度为1，其他维度都为0，见下面的Figure1

分布式表示

我们可以把局部表示理解成用坐标轴表示，每一个新的实例就是一个新的维度，一个新的坐标轴

而分布式表示是用向量空间中的一个点来表示，比如可以用RGB三维空间中的一个点，来表示一种颜色，具体示例见Figure1

分布式表示通常是低维的稠密向量。

​​​​​​Figuer 1

嵌入（Embedded）

通过神经网络，我们可以将高维度的局部表示空间 \mathbb{R}^{|\nu|}投射到低维度的分布式表示空间 \mathbb{R}^{|D|} , 此时特征不再是只在坐标轴上，而是可以表示为空间上的点。

总结： 嵌入就是将特征从高维向低维进行映射，并且尽可能的保留特征间的拓扑结构

高维空间向低维空间映射
James_ZHAAO
关注
  • 7
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习20：嵌入-Embeddings
Jin_Kwok的博客
07-04 1878
嵌入（Embeddings）是一个相对低维的空间，我们可以将高维向量转换到其中。嵌入使得对大型输入（例如表示单词的稀疏向量）进行机器学习变得更加容易。理想情况下，嵌入通过将语义相似的输入紧密地放置在嵌入空间中来捕获输入的一些语义。嵌入可以在模型中学习和重用。
深度强化学习在集群系统中的应用
03-22
因此，论文提出了一种新的多代理深度强化学习状态表示方法，基于分布的均值嵌入（mean embeddings）。在这种方法中，每个代理被视为分布的样本，而经验均值嵌入作为分散策略的输入。通过使用直方图、径向基函数和...
【深度学习：Embeddings 】机器学习中Embeddings的完整指南
欢迎来到最优秀的博客
01-07 2581
在人工智能中，嵌入是低维空间中一组数据点的数学表示，可捕获其潜在的关系和模式。嵌入通常用于以机器学习算法可以轻松处理的方式表示复杂的数据类型，例如图像、文本或音频。嵌入与其他机器学习技术的不同之处在于，嵌入是通过在大型数据集上训练模型来学习的，而不是由人类专家明确定义。这使得模型能够学习数据中人类难以或不可能识别的复杂模式和关系。一旦学习，嵌入可以用作其他机器学习模型的特征，例如分类器或回归器。这使得模型能够根据数据中的潜在模式和关系（而不仅仅是原始输入）做出预测或决策。
如何理解机器学习中的嵌入 (Embeddings)？
HWP
07-07 1781
Embedding就是用一个低维的向量表示一个物体，这个Embedding向量的性质是能使距离相近的向量对应的物体有相近的含义。 正是因为Embedding能够用低维向量对物体进行编码还能保留其含义的特点，所以其非常适合用于深度学习。 https://www.zhihu.com/question/283751866 ...
深度学习中embedding层的理解
数据客
06-10 1076
在深度学习领域中，Embedding层扮演着至关重要的角色，尤其在处理文本数据或类别数据。Embedding层的功能有两个：1. 将高维稀疏的输入数据（如单词、类别标签等）转换为低维稠密的向量表示，可以大幅降低数据存储和计算量。2. 低维稠密向量捕获了输入之间的语义和上下文信息，语义相近、类别相近的单词或者类别，其表示向量相似度也高，使得模型能够更好地理解数据信息并进行预测推理。上述两个原因，使得模型能够更好的学习和处理输入数据。
深度学习中，embedding如何理解？
u011047666的博客
04-13 5117
深度学习中，embedding如何理解？ 参考：https://www.zhihu.com/question/38002635/answer/1382442522 1）这个概念在深度学习领域最原初的切入点是所谓的Manifold Hypothesis（流形假设）。流形假设是指“自然的原始数据是低维的流形嵌入于(embedded in)原始数据所在的高维空间”。那么，深度学习的任务就是把高维原始数据（图像，句子）映射到低维流形，使得高维的原始数据被映射到低维流形之后变得可分，而这个映射就叫嵌入（Embeddi
深度学习中的mask操作
qq_42251157的博客
05-07 1万+
mask（掩码、掩膜）是深度学习中的常见操作。简单而言，其相当于在原始张量上盖上一层掩膜，从而屏蔽或选择一些特定元素，因此常用于构建张量的过滤器（见下图）。 按照上述定义，非线性激活函数Relu（根据输出的正负区间进行简单粗暴的二分）、dropout机制（根据概率进行二分）都可以理解为泛化的mask操作。 从任务适应性上，mask在图像和自然语言处理中都广为应用，其应用包括但不局限于：图像兴趣区提取、图像屏蔽、图像结构特征提取、语句padding对齐的mask、语言模型中sequence mask等。 从
双曲嵌入深度学习
Kanny
08-27 7020
1. 双曲空间 双曲空间的定义是曲率为负常数的一类空间。我们首先以一个图为例，来看欧式空间与双曲空间的区别。 左图为欧式空间，我们从中间节点向外部移动，走一步所能达到的网格数量是323^232，两步是525^252，网络空间会随着半径多项式（平方）的关系进行增长。反观右侧的树结构空间，假设为二叉树，从中心点向外走的节点个数是呈指数增长的，因此这是一个呈指数增长的空间。 假设右侧的树结构我们嵌入到欧式空间上，那么红色的节点到绿色的节点在树上的距离相距888个结点，但直接在平面上看两个节点非常近。一个好的嵌入
深度学习：词嵌入Embedding
热门推荐
皮皮blog
07-26 5万+
http://blog.csdn.net/pipisorry/article/details/76095118 词嵌入 词嵌入其实就是将数据的原始表示表示成模型可处理的或者是更dense的低维表示（lz）。 One-hot Embedding 假设一共有个物体，每个物体有自己唯一的id，那么从物体的集合到有一个trivial的嵌入，就是把它映射到中的标准基，这种嵌入叫做On...
深度学习中Embedding的解释
yuanmiyu6522的博客
10-24 2万+
转载于https://zhuanlan.zhihu.com/p/164502624 什么是Embedding？近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。今天我们就以诙谐生动的方式来理解一下这个看似高大上的名词吧。“Embedding”直译是嵌入式、嵌入层。看到这个翻译的时候是不是一脸懵圈？什么叫嵌入？意思是牢固地或深深地固定？那么它能把什么嵌入到什么呢？很开心地告诉你，它能把万物.
基于深度学习(tensorflow)的中文文本分类.zip
05-08
在本项目"基于深度学习（TensorFlow）的中文文本分类"中，我们主要探讨如何利用TensorFlow这一强大的深度学习框架来处理中文文本分类任务。文本分类是自然语言处理中的一个核心问题，它涉及到将一段文本自动归类到预...
基于tensorflow深度学习的中文的命名实体识别.zip
03-28
在深度学习中，卷积神经网络（Convolutional Neural Networks, CNN）和循环神经网络（Recurrent Neural Networks, RNN），特别是长短期记忆网络（Long Short-Term Memory, LSTM），是常用的方法。在中文NER中，LSTM...
深度学习入门专栏的所有代码
04-17
在这个“深度学习入门专栏的所有代码”压缩包中，包含了用于初学者理解并实践深度学习基础知识的Python代码。Python作为一种简洁易读的语言，是数据科学和机器学习领域的首选工具，因此这个压缩包特别适合想要入门...
基于深度学习的自然语言处理课程.zip
02-18
本课程重点关注深度学习模型在自然语言处理（NLP）中的应用，通过实际项目实践，让学习者能亲手实现并理解这些模型的工作原理。 课程围绕以下几个关键知识点展开： 1. **深度学习基础**：首先，你需要了解深度学习...
深度学习9--目标检测
m0_63860007的博客
08-15 503
假设阈值是0.9,那就忽视所有阈值小于0.9的预测框。AP 是对某一个类检测的好坏，mAP。旁的指示牌和前方的红绿灯颜色。对于自动检测的算法，有两个要求，一个是快， 一个是准。FN 是预测是负样本，预测错了，其实是正样本。目标检测不仅可以检测数字，而且可以检测动物的种类、汽车的。v1模型速度之所以快是因为它的候选框的数量并不多。卷积核的参数，而所需要的数据集就是图片数据和图片标签。模型的收敛速度，也可以起到轻微的正则化的效果，降低模型过拟合。计算，利用两个框的交集面积与并集面积的比值就。
基于LSTM的交通流量预测算法及Python实现
最新发布
u013571432的博客
08-17 801
LSTM通过其内部的记忆单元和门控机制（遗忘门、输入门、输出门），能够捕获数据中的长期依赖关系，这对于预测未来的交通流量至关重要。然后，细胞状态通过tanh函数进行处理（将其值规范化到-1和1之间），并与sigmoid门的输出相乘，最终得到需要输出的部分。（4）输出门：基于新的细胞状态和(h_{t-1})、(x_t)，计算输出门的sigmoid输出，并据此确定隐藏状态(h_t)。全连接层：在LSTM层之后，通常添加一个或多个全连接层（也称为密集层或线性层），用于将LSTM层的输出映射到最终的预测目标上。
基于RNN的交通流量预测算法及Python实现
u013571432的博客
08-17 939
以下是一个简化的使用TensorFlow和Keras API的RNN（具体可以是简单的RNN单元，但考虑到长期依赖性问题，实践中更常用LSTM或GRU）来实现交通流量预测的示例代码。在实际应用中，需要考虑序列长度、模型复杂度、激活函数、优化算法、正则化和过拟合、并行化和加速以及模型解释性等因素来选择合适的RNN模型和训练策略。优化算法的选择和参数设置对模型的训练效率和收敛速度有很大影响。在实际应用中，您可能还需要对模型进行调优，包括调整RNN层的单元数、层数、优化器参数等，以达到最佳的预测性能。
锂电池剩余寿命预测 | Matlab基于LSTM-Attention的锂电池剩余寿命预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
08-14 592
锂电池剩余寿命预测 | Matlab基于LSTM-Attention的锂电池剩余寿命预测
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值