一文彻底搞懂自然语言处理 - 词嵌入（Word Embedding）

在自然语言处理中，词汇通常被表示为离散的符号（如独热编码One-Hot Encoding）****。但独热编码存在维度灾难和语义缺失，导致计算复杂且无法表达词汇间关系。为了解决这些问题，词嵌入技术应运而生。

词嵌入（Word Embedding）是NLP中的一个关键技术，它能够将词汇****从离散的符号表示转换为连续的向量表示****，从而方便后续的深度学习模型进行处理。****

Word Embedding

一、One-Hot Encoding__

什么是独热编码（one-hot 编码）？独热编码的基本思想是为词汇表中的每个词汇分配一个唯一的向量。这个向量的长度等于词汇表的大小，向量中的每个元素都是0，除了代表该词汇的那个位置是1。

例如，假设我们的词汇表为 {“Biscoe”, “Dream”, “Torgensen”}，那么“Biscoe”可以表示为 [1, 0, 0]，“Dream”表示为 [0, 1, 0]，“Torgensen”表示为 [0, 0, 1]。

为什么独热编码是个糟糕的选择？独热编码在自然语言处理中因维度灾难造成计算负担**，且由于语义缺失无法表达词汇间的相关性，因此通常不被视为理想选择。**

1. 维度灾难：随着词汇表的增大，向量的维度也会增大，导致计算和存储的复杂度增加。

2. 语义缺失：独热编码无法表达词汇之间的语义关系，因为任何两个不同词汇的向量之间的点积都是0。

二、Word2Vec

****Word2Vec**是什么？**Word2Vec 是由 Google 在 2013 年提出的一种词嵌入技术，它利用神经网络将词汇映射到低维向量空间中。

Word2Vec 有两种主要的模型结构：CBOW（Continuous Bag of Words）和 Skip-Gram。

**什么是CBOW（连续词袋模型）？**CBOW 模型根据上下文（context）预测当前词（target word）。

CBOW模型类似于一个高级的完型填空游戏，其中上下文中的词汇（已知选项）被用来“填空”预测出缺失的中心词（答案）。

• 输入层：将上下文词汇的 one-hot 编码作为输入。

• 投影层：通过一个权重矩阵 W，将输入层的 one-hot 编码转换为连续的向量表示（即嵌入向量）。

• 隐藏层：对投影层的向量进行平均或求和操作，得到一个上下文向量。

• 输出层：通过另一个权重矩阵 W’ 和 softmax 函数，计算当前词的概率分布。

CBOW 模型的目标是最小化预测当前词的概率分布的负对数似然。

**什么是Skip-Gram（跳字模型）？**Skip-Gram 模型则根据当前词预测上下文。

Skip-Gram模型如同一个词汇侦探，通过当前词“线索”去“追踪”并预测其周围的上下文词汇。

• 输入层：将当前词的 one-hot 编码作为输入。

• 投影层：通过一个权重矩阵 W，将输入层的 one-hot 编码转换为连续的向量表示（即嵌入向量）。

• 隐藏层：此层实际上与投影层共用相同的嵌入向量。

• 输出层：对于每个上下文词汇，通过另一个权重矩阵 W’ 和 softmax 函数，计算其概率分布。

Skip-Gram 模型的目标是最小化预测上下文词汇的概率分布的负对数似然。

为了帮助更多人（AI初学者、IT从业者）从零构建AI底层架构，培养Meta Learning能力；提升AI认知，拥抱智能时代。

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓