深度学习术语：词嵌入 Word Embedding

最新推荐文章于 2024-08-03 08:00:00 发布
最新推荐文章于 2024-08-03 08:00:00 发布
阅读量113 收藏
点赞数
分类专栏： 深度学习 机器学习 文章标签： 深度学习 word embedding
本文介绍了词嵌入的核心思想，如何将文本转换为数字向量以便于机器学习算法处理，特别是详细讲解了Word2Vec的CBOW和Skip-gram方法，以及它们如何通过one-hot编码和神经网络实现词向量表示。
摘要由CSDN通过智能技术生成

在这里插入图片描述
词嵌入的主要思想就是将文本转换为数字。

因为一些机器学习算法（如深度网络）需要的输入是数字形式的，所以当碰到文本时，必须将文本转为数字向量形式输入到算法中。

使用向量数字形式表示词有两个好处：

  • 维度缩减-可以使用较少维度表示 one-hot 向量
  • 上下文相似度-向量表示包含上下文语义信息

词可以用 one-hot 编码方式表示，词嵌入就是创建一个更低维度的向量，名叫词向量 Word Vectors。

Word2Vec 介绍

word2vec 有两种方法：
CBOW (Continuous Bag-Of-Words) 和 Skip-gram

Skip-gram方法就是取句子中固定单词数量（如 5），使用中间单词去预测周围 4 个单词。

输入是 one-hot 向量，经过隐层线性层，随后经过softmax层(结果值为正，加起来为 1)输出预测结果。中间的隐藏层权重即为嵌入矩阵embedding matrix，也即查找表。嵌入矩阵的大小为单词总数词向量维度，假如单词总数为 10000，并且隐藏神经元为 300。那么权重矩阵的大小为 10000300。

在这里插入图片描述

一个例子：假如单词总数为 5， 最终词向量维度为 3。那么权重矩阵大小就为 5*3。
在这里插入图片描述
每一个单词在权重矩阵中都有一个相关联的向量，所以叫做 word2vec。

原文地址
Glossary of Deep Learning: Word Embedding
推荐阅读
The amazing power of word vectors

词嵌入技术(Word Embeddings)：算法原理，操作步骤，数学公式，代码实例，详细例子一步一步的说明等
AI天才研究院
07-01 3906
基于神经网络的词嵌入通常采用词向量（word vector）的方式来实现。词向量是一种将词语转换为实数值的技术，它可以将每个词语表示为一个实数值向量，而且实数值越接近0，表示该词语越重要。数据预处理：将文本数据预处理为适合训练神经网络的格式，包括去除停用词、分词等操作。数据划分：将数据集划分为训练集和测试集。模型训练：使用神经网络对训练集进行训练，并对损失函数进行优化。模型测试：使用测试集对训练好的模型进行测试，计算模型的准确率。
词嵌入：基础知识教程 Word Embedding: Basics
AI天才研究院
03-27 184
GloVe 基于强大的直觉，即单词的真正含义源自两个单词相邻出现的预期概率的差异。上表显示，在我们的语料库中，“a”后面跟着“penny”两次，而单词“earned”、“saved”和“wise”各跟随“penny”一次。在一个美妙的数学推导中，新矩阵的单元格是原始矩阵的行和列之间的点积的结果。这些方法是基于预测的，因为它们提供了单词的概率，并被证明是单词类比和单词相似度等任务的最先进技术。Google 科学家发表的一篇论文 Word2Vec 的前提是，如果经过训练来预测单词的出现，单词嵌入会更加准确。
一文看懂词嵌入word embedding（2种算法+其他文本表示比较）
weixin_43612023的博客
02-18 2188
文本表示（Representation） 文本是一种非结构化的数据信息，是不可以直接被计算的。 文本表示的作用就是将这些非结构化的信息转化为结构化的信息，这样就可以针对文本信息做计算，来完成我们日常所能见到的文本分类，情感判断等任务。 文本表示的方法有很多种，下面只介绍 3 类方式： 独热编码 | one-hot representation 整数编码 词嵌入 | word embeddi...
词嵌入
fu_jian_ping的博客
12-15 2239
B站上有一个讲词嵌入的视频，我认为讲的还可以： https://www.bilibili.com/video/BV1Ki4y1x7gJ?from=search&seid=14594580491827061010 将文本分解而成的单元（单词、字符或n-gram）叫做标记； 将文本分解成标记的过程叫做分词。 所有文本向量化过程都是应用某种弄分词方案，然后将数值向量与生成的标记相关联。 这些向量组合成序列张量，被输入到深度神经网络中。 将标记转换为向量的最常用最基本的方法是one-hot.
自然语言处理-文本表示: Embedding技术
千里之行始于足下
07-14 2966
Embedding技术是自然语言处理领域中一种常用的表示文本的方法。它通过将文本映射到低维向量空间来捕捉单词、句子或文档之间的语义关系和语法结构。本文介绍了几种常见的Embedding技术，包括Word2Vec、GloVe、BERT等，并解释了它们的原理和应用场景。通过使用这些技术，我们可以获得具有丰富语义信息的文本表示，从而在词义相似度计算、情感分析、文本分类等任务中取得更好的效果。此外，我们还提供了一些相关的参考文献供读者进一步学习和探索。
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
大数据小禅的博客
05-23 2003
在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处理和学习文本Embedding在自然语言处理（NLP）中，文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。
合合信息embedding模型登顶MTEB中文榜单：中文文本向量化技术的创新突破
商务合作 | 共同学习 | 携手共进
05-05 1万+
合合信息 embedding 模型登顶 MTEB 中文榜单：中文文本向量化技术的创新突破。
深度学习——NLP中词的表示方法&word embedding&word2vec
Gloria的博客
03-03 5569
一直有点没明白标题中三者的关系，在此记录下来自己查阅之后的看法，有不对的地方，请大家指正，谢谢！ 关于NLP中，有各种不同的表达，如：词向量、word embedding、分布式表示、word2vec、glove等等，这一锅粥的名词术语分别代表什么，他们具体的关系是什么，他们是否处于平级关系？ 希望写完这篇文章后，自己能清楚地理清他们之间的关系。 https://blog.csdn.net...
词的向量表示：word2vec与词嵌入.zip
08-24
词嵌入（Word Embedding）是更广泛的术语，它包括了多种方法，如word2vec、GloVe（Global Vectors for Word Representation）等，它们的目的都是将词汇转换为具有语义信息的向量。这些向量可以捕捉到词与词之间的...
聊聊 词嵌入 Word Embeddings
AI天才研究院
08-11 253
在自然语言处理（NLP）中，词嵌入（word embeddings）是通过学习将文本中的词映射到高维空间的向量表示的一种预训练模型。在本文中，我们会简要地介绍一下词嵌入的基本概念、应用场景以及两种主要的实现方法——GloVe 和 Word2Vec。词嵌入可以帮助机器学习算法解决诸如“给定一个词，找到其上下文环境”、“相似的词之间关系”、“词性或语法特征识别”等重要信息提取任务。在实际应用过程中，由于词嵌入往往具有较好的泛化能力，因此被广泛应用于多种领域，例如语音识别、图像理解、推荐系统、搜索引擎等。
【OCR入门】二、文本识别（CRNN+CTC）
qq_38253797的博客
05-23 8765
目录一、文本识别背景二、CRNN+CTC算法概述三、重要背景知识点整理3.1、RNN算法3.2、LSTM三、CRNN+CTC论文讲解3.1、研究背景3.1、backbone：CNN3.2、neck：LSTM3.3、head：CTC (解码)Reference 一、文本识别背景 文本识别是OCR的一个子任务，主要是识别一个固定区域（一般为文本检测后的结果）的文本内容，将图像信息转换为文字信息。 一般分为规则文本识别和不规则文本识别。 规则文本识别如：印刷字体、扫描文本等。 不规则文本识别一般出现在自然场景中
《基于Tensorflow的知识图谱实战》| 有趣的词嵌入--word embedding（一）| 文本数据处理
d_eng_的博客
06-21 903
⚽开发平台：jupyter lab🎈运行环境：python3、TensorFlow2.x
机器学习的基础——embedding词嵌入&相似性&聚类算法介绍
人工智能研究所的博客
10-26 690
余弦相似度是两个向量之间的夹角，我们在介绍transformer模型时也有提示类似的概念，当2个向量之间的夹角越小，说明在某个维度上最相似，夹角越大，说明在某个维度相似性最小，比如上面图示的2本书，若AB之间的夹角越小，说明在某个图书类别上有一定的相似性，若夹角等于90度，那2本书在图书类别上来讲，就没有任何相似性了。clustering聚类识别真实数据，并把相关有关联的数据，聚集在一起，例如识别哪些书是关于同一主题的，那些电影是相关主题的电影，然后根据推荐算法，推荐给有相关兴趣爱好的人。
神经网络算法 - 一文搞懂Embedding（嵌入）
最新发布
weixin_53880910的博客
08-03 2909
本文将从**Embedding的本质、Embedding的原理、Embedding的应用**三个方面，带您一文搞懂Embedding（嵌入）。
09｜语义检索，利用Embedding优化你的搜索功能
qq_37756660的博客
02-01 1581
在过去的 8 讲里面，相信你已经对 Embedding 和 Completion 接口非常熟悉了。Embedding 向量适合作为一个中间结果，用于传统的机器学习场景，比如分类、聚类。而 Completion 接口，一方面可以直接拿来作为一个聊天机器人，另一方面，你只要善用提示词，就能完成合理的文案撰写、文本摘要、机器翻译等一系列的工作。不过，很多同学可能会说，这个和我的日常工作又没有什么关系。的确，日常我们的需求里面，最常使用自然语言处理（NLP）技术的，是搜索、广告、推荐这样的业务。
【详解】BERT的3个Embedding的实现原理
LeeZhao的博客
07-09 9379
本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings. 目录概览1 Token Embeddings作用实现2 Segment Embeddings作用实现3 Position Embeddings作用实现4 合成表示 概览 下面这幅来自原论文的图清晰地展示了BERT中每一个嵌入层的作用： 和大多数NLP深度学习模型一样，BERT将输入文本中的每一个词（token)送入token embedding层从
一文读懂「Embedding」嵌入技术
女王の专属领地
01-31 3016
Embedding 是一种将高维数据（如文本或图像）转换为较低维度的向量表示的技术。这种表示捕捉了数据的关键特征，使得在处理、分析和机器学习任务中更加高效。通常用于将离散的、非连续的数据转换为连续的向量表示，以便于计算机进行处理。“Embedding”直译是嵌入式、嵌入层。通俗讲，我们常见的地图就是对于现实地理的Embedding，现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。
【nlp入门实战】词嵌入embedding实现
Banana0840的博客
07-24 755
], [‘但是’, ‘，’, ‘这种’, ‘编码方式’, ‘存在’, ‘一个’, ‘问题’, ‘，’, ‘就是’, ‘模型’, ‘可能’, ‘会’, ‘错误’, ‘地’, ‘认为’, ‘不同’, ‘类别’, ‘之间’, ‘存在’, ‘一些’, ‘顺序’, ‘或’, ‘距离’, ‘关系’, ‘，’, ‘而’, ‘实际上’, ‘这些’, ‘关系’, ‘可能’, ‘是’, ‘不’, ‘存在’, ‘的’, ‘或者’, ‘不’, ‘具有’, ‘实际意义’, ‘的’, ‘。《神经网络与深度学习》邱锡鹏。
[深度学习] 自然语言处理 --- 基于Attention机制的Bi-LSTM文本分类
热门推荐
摩登都市天空---专栏
07-21 1万+
Peng Zhou等发表在ACL2016的一篇论文《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》。 论文主要介绍了在关系分类任务中应用双向LSTM神经网络模型并加入Attention机制，从而避免了传统工作中复杂的特征工程，并在该任务中取得比较优秀的效果。 一...
无监督学习：词嵌入探索与应用
常见的策略有基于计数的方法（如Word2Vec中的CBOW和Skip-gram），以及预测性模型，比如使用神经网络（如多层感知器或更复杂的深度学习架构）来预测一个词出现的概率或与其他词的关系。 在训练阶段，预测性方法如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值