Transformer实战（1）——词嵌入技术详解

已于 2025-08-27 12:53:48 修改
阅读量7.2k 收藏 99
点赞数 103
CC 4.0 BY-SA版权
分类专栏： Transformer从入门到项目实战 文章标签： transformer 深度学习 人工智能
于 2025-06-05 08:29:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LOVEmy134611/article/details/147517468

Transformer实战（1）——词嵌入技术详解

0. 前言

在本节中，我们首先介绍词嵌入的概念，然后介绍两种实现词嵌入的方式：Word2Vec 和 GloVe，学习如何使用 Gensim 库从零开始构建语料库的词嵌入，并探索所创建的嵌入空间。

1. 词嵌入基础

词嵌入可以定义为自然语言处理 (natural language processing, NLP) 中的一组语言建模和特征学习技术，将词汇中的单词或短语映射为实数向量。
深度学习模型与其他机器学习模型一样，通常不直接处理文本，文本需要转换为数值，将文本转换为数值的过程称为向量化。早期的向量化通常使用独热编码，每个单词用一个长度等于词汇表总数的二进制向量表示，向量中只有一个位置是1，其余位置都是0。例如，如果词汇表种有三个单词 (A, B, C)，则 A 编码为 [1, 0, 0]，B 编码为 [0, 1, 0]，C 编码为 [0, 0, 1]，独热编码的主要问题是它将每个单词都视为完全独立的，因为任何两个单词之间的相似性(通过两个单词向量的点积衡量)始终为零。
点积是一种代数运算，作用于两个长度相同的向量 a = [ a 1

了解本专栏 订阅专栏 解锁全文
TensorFlow深度学习实战（12）——词嵌入技术详解
盼小辉丶的博客
03-18 4517
词嵌入的核心思想是，通过将词语表示为稠密的向量，使得计算机可以更有效地处理和理解文本中的语义关系。在本节中，我们学习了单词分布式表示的概念及其实现，包括静态嵌入和动态嵌入，实现了 Word2Vec 和 GloVe 模型，并介绍了如何使用 Gensim API 探索嵌入空间。
Transformer实战（5）——Hugging Face环境配置与应用详解
盼小辉丶的博客
06-20 6804
本文详细介绍 Transformer 模型的实践应用全流程。首先讲解基于 Anaconda 的环境配置，包括 transformers 库安装及 hf-mirror 镜像加速方案。然后以 BERT 为例，演示分词器使用、文本编码及 fill-mask 等任务实现，对比 PyTorch/TensorFlow 框架差异。接着展示 Hugging Face 社区模型应用，包括 GPT-2 文本生成和零样本分类。最后扩展至多模态领域，使用 CLIP 模型实现零样本图像分类。
一文彻底搞懂Transformer - Word Embedding（词嵌入）
2401_85377976的博客
08-15 9782
词嵌入与早期的文本表示方法，如ASCII相比，词嵌入技术具有显著的优势。ASCII虽然有效地实现了文本的渲染和传输，但它无法传递词汇的深层含义。而词嵌入技术则能够捕捉到单词之间的语义关系，使得计算机能够在语义层面理解和处理语言。**Word Embedding这一创新使得语义搜索成为可能，我们能够更精准地理解和分析不同语言的文档。这一进步正在改变我们在数字时代处理信息的方式，使得我们能够更高效地处理和分析大量的文本数据。**
Transformer词嵌入揭秘：为什么要做词嵌入？
2301_80239908的博客
09-20 796
本文系统阐述了词嵌入技术在自然语言处理中的演进过程。首先分析了One-Hot编码的局限性，指出其高维稀疏、无法表达语义关系的缺陷；随后重点介绍了WordEmbedding的原理与优势，包括语义表示、泛化能力等特点；并探讨了位置嵌入在序列建模中的必要性，详细说明了学习式与函数式两种位置编码方法。文章通过对比不同词表示技术的优劣，展现了从符号化到分布式、从静态到动态的发展趋势，强调词嵌入与位置嵌入共同构成现代语言模型的输入基础。最后还提供了大模型AI的学习路径建议。
词嵌入教程
TensorFlowNews
11-02 1466
作者|Shraddha Anala 编译|VK 来源|Towards Data Science 无论我们是谁，阅读、理解、交流并最终产生新的内容是我们在职业生活中都要做的事情。 当涉及到从给定的文本体中提取有用的特征时，所涉及的过程与连续整数向量（词袋）相比是根本不同的。这是因为句子或文本中的信息是以结构化的顺序编码的，单词的语义位置传达了文本的意思。 因此，在保持文本的上下文意义的同时，对数据进行适当表示的双重要求促使我学习并实现了两种不同的NLP模型来实现文本分类的任务。 词嵌入是文本中单个单词的密
词嵌入（Word Embedding）
咔咔响
06-22 1943
1.把词汇映射到数学空间的过程称为词嵌入2.最简单的嵌入是one-hot，但很难表达相似度3.通过分布式表示来表示词嵌入，word2vec是其中一种4.word2vec有三个假设，一个窗口...
关于词嵌入（Word Embedding）的一些总结
Mason_Chen的博客
11-17 5914
看了课程半天没搞懂词嵌入是啥，梳理一下相关知识。参考： https://www.jianshu.com/p/2fbd0dde8804 https://blog.csdn.net/m0_37565948/article/details/84989565 https://www.cnblogs.com/wkang/p/9611257.html 词嵌入一、关于文本与向量二、One-hot编码三、信息检索(IR)技术·Bag of wordsTF-IDF·Bi-gram 和N-Gram五、词嵌入简介四、分布式表
【Transformer系列】深入浅出理解Embedding（词嵌入）
热门推荐
IT菜鸟
09-15 2万+
【Transformer系列】深入浅出理解Embedding（词嵌入）
Transformer模型 | 一文解析什么是词嵌入、静态词向量、动态词向量、词表？Transformer如何实现词嵌入？
Code1994的博客
06-27 1103
词嵌入是一种将词语映射为低维稠密向量的技术。例如，词语“苹果”可能被表示为一个300维的向量：v苹果=[0.21,−0.56,0.87,…,0.34]这些向量在空间中“排列”得很有规律：语义相近的词（如“苹果”和“香蕉”）距离更近，而语义无关的词（如“苹果”和“汽车”）则距离较远。
TensorFlow深度学习实战——字符嵌入、子词嵌入、句子嵌入和段落嵌入
盼小辉丶的博客
04-07 2234
在自然语言处理中，嵌入 (Embedding) 技术是将文本转化为数值向量的核心方法，使计算机能够理解和处理语言中的语义信息。根据文本处理的粒度不同，除了词嵌入外，还包括字符嵌入、子词嵌入、句子嵌入和段落嵌入。这些嵌入技术使得计算机能够以不同的粒度理解和处理文本中的语义信息，从而为各种自然语言处理任务提供强大的支持。
Transformer实战（19）——微调Transformer语言模型进行词元分类
最新发布
盼小辉丶的博客
09-20 2068
在本节中，我们将学习如何对语言模型进行微调，以适应词元分类任务。我们将探索命名实体识别 (NER)、词性标注 (POS) 和问答 (QA) 等任务，并了解如何针对这些任务微调特定的语言模型。我们将重点介绍 BERT 模型，学习如何微调 BERT 应用于 POS、NER 和 QA 任务，并熟悉这些任务的实现细节，包括所用数据集及执行过程。通过本节的学习，将能够使用 transformers 库执行各种词元分类任务。
Transformer输入嵌入：Input Embedding
m0_61899108的博客
11-25 8757
​学习 Transformer 该从那里起步呢？首先，当然是膜拜CV大佬，向大佬学习，这位大佬分析细致入理，写文幽默风趣，本文也是从这位大佬这里搬过来的（侵删）。这是大佬的知乎号：CW不要無聊的風格 。去繁就简，咱们直接开始！ ​
Transformer系列 _2 文本处理和词嵌入 笔记2021-06-29
qq_38038430的博客
06-29 273
Text Processing and Word Embedding Text to Sequence 重视：大小写意义不同，有些词对于二分类没有意义，拼写错误等等。 由于sequence长度不同，需要对齐 Word Embedding:Word to Vector ont-hot 维度太高，比如rnn的输入是和输入维度成正比的，会导致参数过多。 d由用户决定，大小决定机器学习的表现。最好用cross-entrophy来决定 这些词带有感情色彩，不同的感情色彩有不同的集群。 Logi
词嵌入技术
顺其自然~专栏
03-15 1845
词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对应的向量为（0.1 0.2 0.3），“狗”对应的向量为（0.2 0.2 0.4），“爱情”对应的映射为（-0.4 -0.5 -0.2）（本数据仅为示意）。像这种将文本X{x1,x2,x3,x4,x5……xn}映射到多维向量空间Y{y1,y2,y3,y4,y5……yn }，这个映射的过程就叫做词嵌入。
【深度学习与NLP】——词嵌入Embedding技术
lingxw的博客
09-03 3056
词嵌入（Embedding）技术是一种将词汇映射到低维连续向量空间的方法。将离散的单词数据处理成连续且固定长度的向量，使模型可以学习和处理语义信息。
词嵌入技术、transformer、seq2seq
chenpe32cp的博客
05-09 831
1.词嵌入技术 https://blog.csdn.net/qq_41664845/article/details/84313419 2.图解transformer https://blog.csdn.net/qq_41664845/article/details/84969266 https://blog.csdn.net/yujianmin1990/article/details/85...
词嵌入
芦金宇的专栏
10-23 1万+
词嵌入（word embedding）是一种词的类型表示，具有相似意义的词具有相似的表示，是将词汇映射到实数向量的方法总称。词嵌入是自然语言处理的重要突破之一。 什么是词嵌入？ 词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对
自然语言处理的基础知识：从词嵌入到Transformer
AI天才研究院
12-27 1211
1.背景介绍 自然语言处理(Natural Language Processing, NLP)是人工智能(Artificial Intelligence, AI)的一个重要分支，其主要目标是让计算机理解、生成和处理人类语言。在过去的几年里，深度学习(Deep Learning)技术的发展为自然语言处理带来了革命性的变革。特别是自从2013年AlexNet在ImageNet大赛中取得卓越成绩以来，...
【自然语言处理】词嵌入技术
藓类少女的博客
09-26 2548
是一种将的技术，通常是低维度的连续向量。这些向量被设计为捕捉词汇之间的，使得语义相似的词在嵌入空间中的距离也更近。词嵌入可以看作是将，从而在一定程度上解决了自然语言处理中的语义表示问题。简单来说，词嵌入就是一种将词汇转换成向量的方法，使得计算机能够理解词与词之间的关系，并在不同的NLP任务（如文本分类、机器翻译、问答系统等）中表现出色。
掌握AI前沿技术：深度学习Transformer实战课程详解
资源摘要信息:"深度学习-Transformer实战系列" Transformer模型是近年来人工智能领域一项革命性的技术，特别是在自然语言处理（NLP）领域，它凭借自我注意力（Self-Attention）机制和并行计算的优越性，迅速成为了...
评论 112
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值