大白话AI科普：大家一直说的Embedding（嵌入）是什么？

于 2025-05-19 10:03:32 发布
阅读量742 收藏 20
点赞数 24
文章标签： 人工智能 embedding 职场和发展 AI langchain AI大模型 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l01011_/article/details/148056734
版权

一、定义

Embedding(嵌入)是一种将高维、离散或非结构化数据(如文本、图像、类别标签)映射到低维连续向量空间的技术。

img

这些向量能捕捉原始数据的语义或特征信息，并使得相似的对象在向量空间中距离更近。

通俗比喻： 给每个词语/物品发一张智能身份证，身份证号码(向量)隐含其特征。

通过模型(如 Word2Vec)将单词转换为向量:

img

二、Embedding 的应用案例

1.搜索与推荐: 把用户浏览记录转为向量，匹配相似商品

2.智能客服: 将用户问题映射到知识库答案的向量空间

3.人脸识别: 将人脸图像编码为 128 维向量(如 FaceNet)

4.病历分析: 医疗文本 Embedding 辅助诊断(如腾讯觅影)

5.合同审查: 法律条文 Embedding 快速匹配相似案例

6.以图搜图: 图片 Embedding 相似度匹配(电商找同款）

7.信贷评估: 将消费记录转为信用风险向量

img

三、静态 vs 动态 Embedding(传统身份证 vs 变色龙身份证)

1.静态 Embedding(如 Word2Vec)

特点: 每个词只有唯一固定的向量，无法区分多义词

2.BERT 的动态 Embedding(上下文敏感)

特点: 同一个词在不同语境中向量实时变化

# 水果场景: "苹果"→ [0.2, -1.5,3.8, 0.9]

# 科技场景: "苹果"→> [1.7,0.3, -2.1,4.2]

效果: 模型能感知"苹果"在句子中的真实含义

注① Word2Vec: Google 在 2013年提出的模型，用于生成词向量

注② BERT: Google 在 2018年提出的模型,首次实现了真正意义上的上下文感知的词向量表示

img

四、大模型生成embedding怎么做?

大模型embedding VS 小模型embedding

1.简介:

BERT: 更适合需要双向上下文理解的任务，通过微调获得高性能

LLM: 在零样本场景和生成任务中表现优越，但需设计合理的Embedding提取策略

2.原理与结构差异

BERT的Embedding生成原理:

模型结构: 基于Transformer编码器，使用双向自注意力机制。

预训练任务: Masked Language Model(MLM)和 Next Sentence Prediction (NSP)。

img

Embedding来源:

Token-level: 每个token的隐藏状态(最后一层或多层平均)。

Sentence-level: 通常取[CLS]token的隐藏状态作为句子表示，或通过池化(平均/最大池化)所有token的隐藏状态

LLM(如Qwen)的Embedding生成原理:

模型结构: 基于Transformer解码器，使用单向自注意力(仅关注左侧上下文)

预训练任务: 自回归语言建模(预测下一个token)。

Embedding来源:

通常取最后一层所有token的隐藏状态，或最后一个token的隐藏状态作为序列表示(需根据任务调整)

img

五、计算步骤对比

1.BERT的计算流程:

输入处理:

添加特殊token: CLS和SEP

Tokenization后生成 input ids 和attention mask

前向传播:

img

提取Embedding

[CLS]token: cls_embedding =last hidden_state[：，0，：]

平均池化:mean embedding =last hidden state.mean(dim=1)

2.LLM(如Qwen)的计算流程:

输入处理:Tokenization生成 input ids。

前向传播：

img

提取Embedding:

最后一个token: last_token_embedding=last_layer[:，-1，:]

平均池化: mean embedding=last layer.mean(dim=1)

3.优缺点

img

4.应用场景

BERT Embedding:

文本分类、实体识别(NER)、语义相似度(需微调或Sentence-BERT)。

短文本理解任务(如问答系统)

LLM Embedding:

零样本/少样本学习(如文本分类、聚类)

生成任务的前置表示(如文本摘要、对话系统)

长文本表示(需结合池化策略)

img

5.改进方法

BERT的改进:

池化策略优化: 使用动态掩码池化、加权平均(如BERT-Whitening)

对比学习: SimCSE通过Dropout生成正样本，提升句子表示区分度

多层融合: Concatenate最后几层的隐藏状态(如BERT-4-8层)

LLM的改进:

双向化改造: 在特定层引入双向注意力(如UniLM)

中间层利用: 结合多层表示(如取第16层和第24层的平均)

微调策略: 通过Adapter或LORA适配下游任务，避免全参数微调

6.实现代码示例

img

六、如何训练大模型，使LLM具有语义表征能力?

基于Qwen2.5训练商品语义表征模型的完整流程(以电商场景构建商品向量检索系统为例)

简介: 某跨境电商平台需要为3000万SKU建立语义检索系统，要求将商品标题、描述、属性等文本信息编码为768维向量，支持多语言相似商品检索。

过对比学习对齐语义空间，利用Qwen2.5强大的语言理解能力，结合业务数据特性进行针对性优化，需要注意的是，实际部署时要做好版本管理和AB测试。

img

1.训练阶段

原始数据采集

商品标题(中/英/西/法等多语言)

商品描述(结构化+非结构化文本)

  • 商品类目三级标签
  • 用户搜索点击日志(正样本对)
  • 人工标注的相似商品对(5万组)

数据预处理:

img

2.模型选择与改造

基座模型: Qwen2.5-7B(平衡效果与推理成本)

改造方案:

在Transformer顶层增加Mean Pooling层

添加可学习的[CLS]token

输出层接768维投影层(L2正则化)

img

3.训练策略设计

对比学习框架(Triplet Loss +InfoNCE)

Batch构造策略:

在线困难样本控掘(Online Hard Mining）

跨语言负样本生成(同品类不同语言商品)

混合训练数据:

img

4.分布式训练配置

硬件: 8xA100 80GB(NVLink互联)

并行策略:

img

img

5.评估与调优

离线评估指标:

img

多维度评估

img

业务效果

商品搜索CTR提升23%

长尾商品曝光量增加45%

平均响应时间<80ms(A10 GPU)

优化方案

1.多语言对齐: 通过共享subword词汇表实现跨语言映射

2.属性增强: 将商品规格参数(如"256GB ROM")转换为结构化提示

img

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

神经网络算法 - 一文搞懂Embedding（嵌入）
2401_85328934的博客
08-22 2649
本文将从三个方面，带您一文搞懂Embedding（嵌入）原理：将离散数据映射为连续向量，捕捉潜在关系。方法：使用神经网络中的Embedding层，训练得到数据的向量表示。作用：提升模型性能，增强泛化能力，降低计算成本。在机器学习中，Embedding主要是指将离散的高维数据（如文字、图片、音频）映射到低维度的连续向量空间。这个过程会生成由实数构成的向量，用于捕捉原始数据的潜在关系和结构。原理：将文本转换为连续向量，基于分布式假设捕捉语义信息。
嵌入模型：企业知识库的AI引擎 (小白总结篇 1)
qq_43350218的博客
02-19 1086
以非技术人员角度，介绍了嵌入模型的基本概念，旨在学习记录并促进交流。作者解释了为何讨论嵌入模型——为使企业RAG知识库更智能，找到最佳向量化工具。采用通俗易懂的语言解释了什么是嵌入模型，以及它的工作原理，比如将非结构化数据转换为数值向量，并强调了相似文本在向量空间中会更接近的特点。此外，文章还详细列举了嵌入模型的应用场景，包括语义搜索、推荐系统、文本分类等，并介绍了Hugging Face MTEB排行榜作为选择合适嵌入模型的参考工具。
什么是embedding？
热门推荐
weixin_44493841的博客
07-10 10万+
本文转自：https://www.jianshu.com/p/6c977a9a53de 　　 简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联...
大模型入门：Embedding模型概念、源码分析和使用示例
2301_81940605的博客
11-16 1万+
本篇对嵌入模型的概念、Spring AI 框架对支持嵌入模型的设计，并对其源码进行分析，最后对API接口进行使用。
【ML】embeding是什么？怎么理解？生成方式有哪些？
凝眸伏笔的博客
05-06 4980
aribnb的论文可以仔细研读几遍 1.相比One-hot编码，Embedding方法能够得到更紧凑的向量表示。
一文读懂Embedding的概念，以及它和深度学习的关系
weixin_43960370的博客
03-31 602
另外，向量间的距离也可能会建立联系，比方说“北京”是“中国”的首都，“巴黎”是“法国”的首都，那么向量：|中国|-|北京|=|法国|-|巴黎|再走近20厘米，又发现耳朵也不同，最后，在距离屏幕10厘米的地方，终于发现第四个不同的地方在眼睛的高光。而一维列表，你能很快算出来？先不管它什么意思，这个过程，我们把一个A中的12个元素的矩阵变成C中6个元素的矩阵，直观上，大小是不是缩小了一半？比如：其实我们这篇文章，虽然100W字，但是其实我们整合起来，有99W字是重复的，只有1W字是完全不重复的。
AIGC从入门到入坑01（初学者适用版）
锴笑口常开的博客
01-28 4284
Today，人工智能技术快速发展和广泛应用已经引起大众的兴趣和关注了。特别是作为人工智能重要分支的深度学习，展现出独有的统治力，引领了一场科技革命。作为一名刚毕业的本科生，本身对人工智能感兴趣的我也选择加入这场浪潮中，开坑系列博客，同时作为自己的学习笔记，希望自己能吃透AIGC和AI大模型，探寻一条到AGI的朝圣之路。首先说明一下AIGC、AI大模型和AGI三个名词的解释，正所谓知其然，才知其所以然。AIGC：全名“AI Generated Content”，称为“生成式AI”。
【科普】2_用游戏一文讲透AI晦涩难懂的名词，你也能和妹子去吹牛了
专注大数据与自由
08-12 529
收录于 AI实战教程 合集效果小剧透先了解专有名词，是快速打入一个领域最直接的方法。今天，海盐就先用大白话让你听懂，再对照官方定义，让你进一步理解的方式，快速的帮助大家，更清晰的了解ChatGPT领域大家常谈到的常见专有名词。当然，对于普通人，理解大白话的解释，就够啦哈哈哈哈哈让大家不再谈词色变，一举解决朋友聊天听不懂、AI新闻理解不上去的问题~本文与实战无关，完全是帮助大家在认知层面提升一个Level的。阅读时，对照文档左侧的目录层级，思路更清晰只有干货，坐稳，发车！痛点。
深度学习embedding方法，降维，以及pytorch中使用embedding
weixin_41106546的博客
04-24 8221
形式上讲，Embedding就是用。
什么是Embedding？
星辰的博客
04-05 6593
Embedding,中文直译为“嵌人”，常被翻译为“向量化”或者“向量映射”。 Embedding的主要作用是将稀疏向量转换成稠密向量，便于上层深度神经网络处理。事实上，Embedding技术的作用远不止于此，它的应用场景非常多元化，而且实现方法也各不相同。形式上讲Embedding就是用一个低维稠密的向量“表示”一个对象(object), 这里所说的对象可以是一个词、一个商品，也可以是一部电影，等等。 Embedding技术在NLP领域的应用 Embedding方法的流行始于自然语言处理领域对于词向量生成
神经网络算法：一文搞懂 Embedding（嵌入）
2401_84033492的博客
04-02 5354
本文将从Embedding的本质、Embedding的原理、Embedding的应用三个方面，带您一文搞懂Embedding（嵌入）。
[人工智能] 轻松理解Embedding：从基本概念到最新应用
weixin_52463850的博客
01-02 1169
简单来说，Embedding就是一种将高维度的、离散的、复杂的数据转化为低维度、连续的、易于计算的向量表示方法。可以把它理解为“压缩”的过程，把信息从复杂的、难以操作的形式转化为计算机更容易理解和处理的数字表示。高维数据转低维向量：比如，在自然语言处理中，我们可以将每个单词转化为一个向量，这个向量是一个数字数组。这个数字数组的维度（通常是几十到几百维）比原始数据（如单词的字符、词汇表大小等）要低很多。Embedding作为一种将复杂数据转化为易于计算的向量表示的技术，已经成为人工智能领域不可或缺的工具。
大白话讲清楚embedding原理
kcarly的专栏
02-01 1690
Embedding技术通过将高维稀疏数据映射到低维稠密向量空间，解决了传统one-hot编码的高维度和语义缺失问题。它广泛应用于NLP、CV和图数据分析等领域，并且是现代大语言模型（如BERT、GPT）的核心技术之一。通过无监督学习和深度学习框架的支持，Embedding能够捕捉数据的语义关系和特征信息，从而提升模型性能。Embedding技术在实际应用中面临的主要挑战包括硬件资源限制、实时性要求、固件更新与兼容性问题、安全性问题、稀疏特征处理、持续变化的环境以及验证与合成的复杂性。
一文读懂Embedding
qq_44866969的博客
08-28 5481
解读Embedding
什么是人工智能的嵌入（Embedding）？一文吃透人工智能的嵌入（Embedding）
AI大模型的博客
12-17 1158
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。例如，“bank” 在“河岸”和“银行”中的向量会不同。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 1898
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
流媒体是什么？请大白话解释
最新发布
04-21
<think>好的，我现在需要帮助用户理解流媒体的基本概念。用户之前问过关于HTML5和WebGL的问题，现在转向流媒体，可能需要一个简单易懂的解释。首先，我要确定用户的基础知识，可能需要避免使用太多技术术语，但又要准确。 用户提供的引用中提到了HLS、DASH、Smooth Streaming等协议，以及FFmpeg的使用。这些信息可以帮助我构建回答，但用户现在只需要基本概念，不需要深入技术细节。我需要把这些内容简化，用类比或日常例子来说明。 用户的上一次问题涉及HTML5和WebGL，可能对网络技术有一定了解，但流媒体是一个新领域，所以要从基础开始。要确保回答结构清晰，分点说明，可能用比喻帮助理解，比如用水管和水流来比喻流媒体的数据传输。 同时，用户可能想知道流媒体与传统的下载方式有何不同，这点需要明确对比，强调实时播放和无需等待下载完成的优势。引用中提到的HTTP流协议，如HLS和DASH，可以简要提及，但重点放在它们如何实现自适应和分段传输。 还要考虑用户可能的应用场景，比如观看视频、直播等，举这些例子能让用户更容易理解。最后，生成的相关问题需要覆盖协议、技术原理和应用场景，帮助用户进一步探索。需要确保回答符合之前设定的格式，使用中文，行内公式用$...$，结构清晰，引用适当。</think>### 流媒体的简单解释 🌊 --- #### **一句话总结** 流媒体就是**“边传边看”**的技术，像自来水一样，水（数据）从服务器“流”到你的设备，你不需要等整个游泳池（完整文件）灌满就能开始用水（观看内容）。 --- #### **举个栗子 🌰** 1. **传统下载**：你要下载一部2GB的电影，必须等全部下载完成才能看（就像把整桶水倒进杯子，必须等水桶倒完才能喝）。 2. **流媒体**：打开视频网站，点击播放就能立刻看，视频数据像“水流”一样持续输送（像用吸管喝水，边吸边喝，不用等水桶倒空）。 --- ### 流媒体的三大核心特点 🔑 1. **实时性** - 数据**分段传输**：视频被切成小片段（比如每段2-10秒），播放完一段立刻传下一段。 - 类似“吃薯片”：你不需要等整包薯片到货，吃完一片，快递员马上送下一片[^1]。 - *技术支持*：HLS（苹果）、DASH（通用）、Smooth Streaming（微软）等协议实现分段传输[^1]。 2. **自适应** - 根据你的网速**自动调节画质**： - 网速快：高清（如1080P，码率$5\, \text{Mbps}$）。 - 网速慢：流畅（如480P，码率$1\, \text{Mbps}$）。 - *技术原理*：服务器预存同一视频的多种分辨率版本，客户端根据实时带宽选择合适的分段[^1]。 3. **低延迟（直播场景）** - 主播说话 → 你听到的延迟可压缩到**1-3秒**（传统直播可能延迟10秒以上）。 - *关键技术*： - **编码优化**：用H.265/HEVC减少数据量（压缩率比H.264高50%）。 - **传输协议**：WebRTC（点对点直连）、SRT（抗丢包）等[^3]。 --- ### 流媒体的技术流程 ⚙️ 以**B站看视频**为例： 1. **切片处理**： - 你上传的视频被FFmpeg切成`video_1.ts`、`video_2.ts`等小文件，并生成索引文件`playlist.m3u8`[^3]。 2. **分发网络（CDN）**： - 这些文件会被缓存到离你最近的服务器（比如上海电信节点）。 3. **客户端播放**： - 你的手机按`playlist.m3u8`顺序下载片段，同时预加载后续片段（类似“提前囤薯片”）。 ```bash # 示例：用FFmpeg切片视频（引用自用户提供的代码） ffmpeg -i input.mp4 -c:v libx264 -hls_time 10 output.m3u8 ``` --- ### 和传统下载的对比 🔄 | | **流媒体** | **传统下载** | |----------------|-------------------------------|------------------------------| | **等待时间** | 秒级（点开即看） | 分钟级（依赖文件大小） | | **存储占用** | 几乎无（缓存自动清理） | 需要完整存储文件 | | **适用场景** | 在线视频、直播、音乐 | 软件安装包、文档 | --- ### 通俗类比 🍔 - **流媒体**像“外卖送餐”：厨师（服务器）一边做菜一边送，你吃到第一口披萨时，剩下的还在路上。 - **传统下载**像“超市采购”：必须买齐全部食材（下载完文件）才能开始做饭（观看）。 --- #### 附：流媒体的“水流”如何抗波动？ 🌧️ 1. **缓冲池**：播放器会预存5-10秒的数据（像家里备一桶水，停水时还能撑一会儿）。 2. **动态码率**：网速下降时，自动切换到低码率版本（比如从“蓝光”降到“流畅”）。 3. **纠错机制**：通过冗余数据包（FEC）或重传（ARQ）修复丢失的数据[^2]。 --- **总结**：流媒体用“分段传输 + 自适应调节”实现了**即点即看**，把“等待下载”变成了“持续流动”，是现代视频网站、直播、在线教育的基石。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值