一文看懂词嵌入word embedding（2种算法+其他文本表示比较）

最新推荐文章于 2024-05-27 11:03:26 发布
最新推荐文章于 2024-05-27 11:03:26 发布
阅读量2.2k 收藏 8
点赞数 3
分类专栏： ai 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43612023/article/details/104373252
版权
本文介绍了文本表示的重要性，包括独热编码、整数编码和词嵌入（word embedding）的优缺点。重点讲解了两种主流的词嵌入算法Word2vec和GloVe，强调了它们在表达词语关系和低维向量空间的优势，并提供了相关深入学习资源。
摘要由CSDN通过智能技术生成

一文看懂 word embedding

文本表示（Representation）

文本是一种非结构化的数据信息，是不可以直接被计算的。

文本表示的作用就是将这些非结构化的信息转化为结构化的信息，这样就可以针对文本信息做计算，来完成我们日常所能见到的文本分类，情感判断等任务。

文本表示将非结构化数据转化为结构化数据

文本表示的方法有很多种，下面只介绍 3 类方式：

  1. 独热编码 | one-hot representation
  2. 整数编码
  3. 词嵌入 | word embedding

word embedding的关系

独热编码 | one-hot representation

假如我们要计算的文本中一共出现了4个词：猫、狗、牛、羊。向量里每一个位置都代表一个词。所以用 one-hot 来表示就是：

猫：［1，0，0，0］

狗ÿ

最低0.47元/天 解锁文章
weixin_43612023
关注
专栏目录
一文弄懂Word2Vec之skip-gram（含详细代码）
Python，数据分析，机器学习，深度学习
12-06 1万+
目录 前言 一、什么是Skip-gram算法 二、目标是什么 三、定义表示法 3.1 one-hot向量 3.2 词向量（word vector） 3.3 单词矩阵 3.4 单词相似度 3.5 softmax函数 3.6算法过程 3.7 求softmax 四、skipgram代码实现 4.1 如何把词转换为向量 4.2 CBOW和Skip-gram的算法实现 Skip-gram的理想实现 Skip-gram的实际实现 4.3 使用Pytorch实现Skip-gram .
（一）文本嵌入式表示方法实战（词、句和段落向量：Word2Vec，GloVe，Paragraph2vec，FastText，DSSM）
weixin_36711901的博客
05-31 3230
《文本嵌入式表示方法实战》系列文章是基于2017年我于研一下半学期做的两场长时间的组会汇报ppt上形成的文章（学习和实验长达3个月，因为当时主要以上课为主，实验都是课余时间做的。。），由于当时我正处于入门阶段，理解和表述定有不当之处，还请各位同学老师批评指教。。。 《文本嵌入式表示方法实战》系列文章全部链接如下： （一）文本嵌入式表示方法实战（词、句和段落向量：Word2Vec，GloVe，P...
Text Embedding（文本嵌入）模型介绍
最新发布
培根芝士的专栏
05-27 2809
Text Embedding是自然语言处理（NLP）中的一个核心技术，它指的是将文本（如单词、短语、句子或段落）转换为固定大小的实数向量，这些向量可以捕获文本中的语义信息，使得语义上相似的文本在嵌入空间中具有相似的向量表示。这种转换使得文本数据能够被计算机理解和处理，从而可以在各种NLP任务中使用。
Word Embedding算法综述及资源
qq_44761480的博客
09-07 546
简介 https://machinelearningmastery.com/what-are-word-embeddings/ https://www.zhihu.com/question/32275069 词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。 One of the benefits of using dense and low-dimensional v
词嵌入方法
Breeze
03-07 2442
引言 对于自然语言处理任务，我们不能直接使用纯文本字符串作为输出，而是需要将文本字符转化为连续值的向量。 词嵌入的主要思想是将文本转换为较低维度空间的矢量表示。对于这种转化后的向量有两个重要的要求： 较低维度空间：尽量降低编码词向量产生的稀疏性。 保证上下文相似性：为了使语言模型更好的预测文本的含义。 总的来说，词嵌入就是一种**从文本语料库构建低维向量表示的方法，可以保留单词的上下文相似性。...
文本嵌入的经典模型与最新进展（下载PDF）
机器学习算法与Python学习
06-24 1201
来自 | AI研习社   作者 | WBLUE词嵌入和句子嵌入已成为所有基于深度学习的自然语言处理（NLP）系统的重要组成部分。它们在定长的密集向量中编码单词和句子，以大...
文本嵌入
qq_31590889的博客
03-25 3177
什么是NLP？ 自然语言处理（NLP） 是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务。 随着语音接口和聊天机器人的兴起，NLP正在成为信息时代最重要的技术之一，同时它也是人工智能的关键部分。充分理解和表达语言的含义是一个非常困难的目标。为什么？因为人类的语言很特别。 人类语言有什么特别之处？ 1.人类语言是专门为传达说话人的意图而构...
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 9180
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
词嵌入
热门推荐
qq_32172681的博客
06-27 1万+
所谓词嵌入，通俗来讲，是指将一个词语(word)转换为一个向量 (vector)表示， 所以词嵌入有时又被叫作“word2vec"。在CharRNN中，输入序列数据的每一步是一个字母 。 具体来说，先对这些字母使用了独热编码再输入到 RNN 中，在实际应用中 ， 每一步只输入一个字母显然是不太合适的 ， 更加高效的方法是每一步输入一个单词 。如果还继续使用独热表示，那么每一步输入的向量维数会非常大...
词嵌入算法
s1162276945的博客
03-16 2121
Word Embedding 为了克服文字长短不一和将词与词之间的联系纳入模型的困难，人们使用了一种技术——词嵌入。 常见的词嵌入算法有：“Word2Vec”和“Glove” 「词嵌入（word embeddings）」术语，来指代词语在低维度向量空间的稠密表示。「词嵌入」和「分布式表征（distributed representations）」是两种可互换的表示方法。我们将特别强调「神经词...
自然语言处理-文本表示: Embedding技术
千里之行始于足下
07-14 2997
Embedding技术是自然语言处理领域中一种常用的表示文本的方法。它通过将文本映射到低维向量空间来捕捉单词、句子或文档之间的语义关系和语法结构。本文介绍了几种常见的Embedding技术，包括Word2Vec、GloVe、BERT等，并解释了它们的原理和应用场景。通过使用这些技术，我们可以获得具有丰富语义信息的文本表示，从而在词义相似度计算、情感分析、文本分类等任务中取得更好的效果。此外，我们还提供了一些相关的参考文献供读者进一步学习和探索。
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
大数据小禅的博客
05-23 2044
在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处理和学习文本Embedding在自然语言处理（NLP）中，文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。
文档相似算法_2020年最佳文档相似性算法入门指南
weixin_26720761的博客
09-05 867
文档相似算法If you want to know the best algorithm on document similarity task in 2020, you’ve come to the right place. 如果您想知道2020年文档相似性任务的最佳算法，那么您来对地方了。 With 33,914 New York Times articles, I’ve tested 5 ...
word embedding系列（一）背景知识
ty44111144ty的博客
08-10 318
这一系列是去年更新在公众号上的，本篇的公众号链接：word embedding系列（一）背景知识 欢迎关注我的公众号，微信搜 algorithm_Tian 或者扫下面的二维码~ 现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~ word embedding范围非常广泛，内容很多，所以先从基础的背景知识讲起。这个系列准备分为四部分： 一、背景知识，也...
合合信息embedding模型登顶MTEB中文榜单：中文文本向量化技术的创新突破
商务合作 | 共同学习 | 携手共进
05-05 1万+
合合信息 embedding 模型登顶 MTEB 中文榜单：中文文本向量化技术的创新突破。
【OCR入门】二、文本识别（CRNN+CTC）
qq_38253797的博客
05-23 8881
目录一、文本识别背景二、CRNN+CTC算法概述三、重要背景知识点整理3.1、RNN算法3.2、LSTM三、CRNN+CTC论文讲解3.1、研究背景3.1、backbone：CNN3.2、neck：LSTM3.3、head：CTC (解码)Reference 一、文本识别背景 文本识别是OCR的一个子任务，主要是识别一个固定区域（一般为文本检测后的结果）的文本内容，将图像信息转换为文字信息。 一般分为规则文本识别和不规则文本识别。 规则文本识别如：印刷字体、扫描文本等。 不规则文本识别一般出现在自然场景中
《基于Tensorflow的知识图谱实战》| 有趣的词嵌入--word embedding（一）| 文本数据处理
d_eng_的博客
06-21 905
⚽开发平台：jupyter lab🎈运行环境：python3、TensorFlow2.x
NLP自然语言处理学习笔记（一）Word Embedding词嵌入
qq_35175666的博客
12-08 1815
NLP自然语言处理学习笔记（一）Word Embedding词嵌入
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值