文本向量化（Embedding）模型

最新推荐文章于 2025-05-23 19:38:23 发布
最新推荐文章于 2025-05-23 19:38:23 发布
阅读量2.1k 收藏 19
点赞数 20
CC 4.0 BY-SA版权
文章标签： embedding 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qw123456789e/article/details/146479452

文本向量化（Embedding）模型

📚 文本向量化（Embedding）模型知识总结

1. ✅ 什么是文本向量化（Embedding）？

➡️ 定义

将文本（单词、句子、段落、文档）通过特定模型映射为 稠密向量（Dense Vector），用于表示文本的 语义信息。

➡️ 为什么需要？

  • 计算机不理解自然语言，只能理解数字。
  • 向量化后可以：
    • 相似度计算（语义检索、聚类）
    • 分类任务（情感分析、标签分类）
    • 问答系统（向量检索+大模型）
    • 推荐系统（基于语义的推荐）

2. ✅ 向量化的核心任务

场景目标技术路径
文本相似度判断文本之间语义是否相似向量表示 + 相似度计算
信息检索检索与查询语义相关的文档向量索引 + 相似度排名
文本分类判断文本属于哪个类别向量表示 + 分类模型（ML/DL）
问答系统（RAG）基于知识库回答用户提问向量搜索 + 大模型生成
多模态分析跨模态（图片、视频、音频）表示统一跨模态向量模型（CLIP）

3. ✅ 常见的文本向量模型分类

3.1 静态词向量（单词级别，已过时但基础）

模型特点缺点
Word2Vec词向量，能表达词之间相似性不能解决多义词问题
GloVe结合全局与局部信息表达能力弱
FastText子词嵌入，处理 OOV 词更好表达句子无能为力

3.2 句子/文档级别嵌入（现代主流）

模型简介适用语言
SBERT基于BERT，优化为句子嵌入多语言
SimCSE无监督/有监督句子嵌入英文为主，部分中文
Text2Vec中文优化的句子嵌入模型中文
M3E中英文双语句向量模型中英文
BGE专为检索优化的通用嵌入模型中文/英文

3.3 多模态向量模型（图文/视频/音频）

模型简介适用场景
CLIP图文对齐嵌入图文搜索
OFA图文、OCR、VQA多模态任务更复杂
BLIP图文生成/理解多模态任务

4. ✅ 主流文本嵌入模型介绍

4.1 BGE（BAAI General Embedding）系列

  • 出自：北京智源研究院（BAAI）
  • 版本：
    • bge-small（256维，轻量）
    • bge-base（768维，效果平衡）
    • bge-large（1024维，效果最优）
  • 亮点：
    • 针对检索任务优化
    • 多语言支持（M3版本）
    • 文本检索与RAG问答强项
  • 适合场景：知识库、问答系统、相似度计算

4.2 M3E

  • 出自：Moka AI
  • 优势：
    • 支持中英文
    • 轻量高效
  • 版本：
    • moka-ai/m3e-small（CPU友好）
    • moka-ai/m3e-base / m3e-large
  • 适合场景：信息检索、分类、知识库

4.3 Text2Vec

  • 出自：Shibing624（开源社区）
  • 专注中文优化
  • 优势：
    • 轻量级（低内存/CPU可用）
    • 适合中文分类、相似度任务
  • 场景：资源有限的中文文本任务

4.4 GTE (General Text Embedding)

  • 出自：Google
  • 覆盖多语言
  • 版本：
    • gte-small
    • gte-base
    • gte-large
  • 场景：多语言检索、分类

4.5 MiniLM / SBERT

  • 适合英语任务
  • 模型小，计算快
  • SBERT更适合做相似度匹配

5. ✅ 文档向量化处理流程

➡️ 文档预处理

  1. 文件加载
    • PDF：PyMuPDF、pdfminer、PyPDFLoader
    • Word：python-docx
    • 文本：标准读取
  2. 清洗
    • 去除噪声、图片、表格（可选）
    • 正则提取内容
  3. 切分
    • 按段落、句子、字符切分
    • 推荐使用 LangChain 的 RecursiveCharacterTextSplitter

➡️ 嵌入生成

from langchain.embeddings import HuggingFaceEmbeddings
embedding_model = HuggingFaceEmbeddings(model_name="BAAI/bge-large-zh")
vectors = embedding_model.embed_documents(text_chunks)

6. ✅ 向量检索/存储（向量数据库）

常见数据库

名称特点推荐场景
FAISS轻量，单机快速小型应用
Milvus分布式，支持亿级数据企业级
Chroma快速上手，支持多模态轻量应用
Weaviate自动化管理，带API快速构建

基本流程

  1. 文档 → 嵌入向量
  2. 存入向量库
  3. 查询时：
    • 输入查询 → 嵌入 → 最近邻检索 → 返回文档

7. ✅ 模型评估指标和方法

➡️ 常用指标

指标含义
Recall@K前K个结果中包含正确答案比例
MRRMean Reciprocal Rank
NDCG排名质量衡量

➡️ 评估方法

  1. 构造问答对 / 检索对
  2. 生成查询向量，查找相似向量
  3. 计算准确率/召回率/排名指标
  4. 比较不同模型效果

8. ✅ 模型选型建议（总结）

场景推荐模型推荐数据库
中文RAG检索BGE-Large-zh / M3EFAISS/Milvus
英文或多语言检索M3E / GTEFAISS/Weaviate
中小型项目，轻量需求Text2Vec / M3E-smallChroma/FAISS
跨模态搜索（图文）Taiyi-CLIP / OpenAI-CLIPMilvus/Weaviate

9. ✅ 推荐资源

➡️ 开源模型地址

  • BAAI/BGE: https://huggingface.co/BAAI/bge-large-zh
  • M3E: https://huggingface.co/moka-ai/m3e-base
  • Text2Vec: https://huggingface.co/shibing624/text2vec-base-chinese
  • GTE: https://huggingface.co/models?search=gte
  • Taiyi-CLIP: https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese

➡️ 向量数据库

  • FAISS：https://github.com/facebookresearch/faiss
  • Milvus：https://milvus.io/
  • Chroma：https://github.com/chroma-core/chroma
  • Weaviate：https://weaviate.io/

10. ✅ 未来趋势

  • 更轻量化和高效的多语言模型
  • 多模态嵌入统一化（文本、图片、视频等）
  • 向量数据库自动优化（智能索引、混合搜索）
  • 私有化RAG系统与大模型紧密集成

🚀 总结一句话

如果做中文知识检索和问答系统，用 BGE 系列准没错！
如果是多语言或者轻量级部署，M3E 和 Text2Vec 是很好的选择！
跨模态搜索就上 CLIP 或 Taiyi-CLIP！

文本向量模型（Text Embedding Models）
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
11-14 1498
文本向量化，词嵌入，Word2Vec，GloVe，BERT，Transformer，自然语言处理，深度学习 1. 背景介绍 在当今数据爆炸的时代，文本数据已成为信息的主要来源。如何有效地处理和理解这些文本数据对于人工智能的发展至关重要。传统的文本处理方法通常依赖于手工设计的特征，但这
文本向量化
08-23 1234
词嵌入是一种表示单词的方法，它将词汇表中的每个单词表示为一个普通的向量。不同于传统的只包含0和1的One-Hot向量，词嵌入向量是一串普通的数字。这样的向量将单词嵌入到一个数学空间中，因此称为"词嵌入"。● 如何进行词嵌入？要进行词嵌入，我们需要通过神经网络进行训练，训练得到的网络权重形成的向量就是我们最终需要的词向量。● 词汇表征和语言模型自然语言处理的核心是建立语言模型，从深度学习的角度来看，我们可以将自然语言处理的语言模型视为一个监督学习问题。
大模型入门到精通！一文搞懂大模型的向量化（Embedding）
最新发布
Androiddddd的博客
05-23 633
Embedding（嵌入）是大语言模型（如 BERT 和 GPT）的核心组件，其作用是将人类语言转换为机器能理解的数值向量。这一过程类似于为每个词、子词或符号赋予一个“数字身份证”，使得模型能够捕捉语义信息，让相似的词（如“快乐”和“高兴”）在向量空间中距离更近。
4-2 文本向量化
weixin_62115482的博客
07-10 2971
Word2Vec是由Google提出的一种词嵌入方法，通过训练神经网络，将词映射到一个连续的向量空间，使相似的词在向量空间中距离较近。TF-IDF（Term Frequency-Inverse Document Frequency）是一种改进的词袋模型，通过考虑词在文档中的频率和在整个语料库中的反向文档频率，衡量词的重要性。FastText是Facebook提出的一种改进的词嵌入方法，不仅考虑词本身，还考虑词的子词信息（如词根、词缀等），因此在处理罕见词和形态变化丰富的语言时表现更好。
不同linux禁用nouveau驱动方法
weixin_43464294的博客
09-13 1649
不同Linux系统nouveau驱动禁用方式 Fedora 创建文件/usr/lib/modprobe.d/blacklist-nouveau.conf，添加如下文本： blacklist nouveau options nouveau modeset=0 重新生成initramfs。 $ sudo dracut --force RHEL/CentOS 创建文件/etc/modpr...
【NLP笔记】文本向量化
weixin_36488653的博客
03-15 8791
在自然语言处理中，文本向量化（Text Embedding）是很重要的一环，是将文本数据转换成向量表示，包括词、句子、文档级别的文本，深度学习向量表征就是通过算法将数据转换成计算机可处理的数字化形式。
自然语言处理之文本向量化（词袋模型、TF-IDF）
永远飞翔的鸟
03-07 1万+
目录 1.词袋模型（Bag of words，简称 BoW ） 2.词频向量化 3.TF-IDF处理 3.1TF 3.2IDF 4 CountVectorizer与TfidfVectorizer的异同： 5.sklearn中TfidfTransformer和TfidfVectorizer对tf-idf的计算方式 6.实战 文本数据预处理的第一步通常是进行分词，分词后会进行...
合合信息Embedding模型：引领中文文本向量化技术新高度
阿牛的博客
04-23 1万+
目前，随着 LangChain + LLM模型的火热，除了层出不穷的大模型外，因为检索的能力会很大程度影响最终的问答效果，所以文本的向量表示模型也是大家比较关注的。在人工智能的世界里，文本向量化技术是连接自然语言处理（NLP）与机器学习的桥梁。它能将复杂的文本数据转换成机器可理解的向量形式，从而使得机器能够更加高效地处理和分析文本数据。最近，合合信息发布的acge_text_embedding 句子向量模型在中文文本向量化领域取得了突破性进展，荣获MTEB中文榜单第一的成绩。
Word embedding（文本向量化）技术与路线
红豆的博客
12-18 1240
0. CountVecorizer 是属于常见的特征数值计算类，是一个文本特征提取方法。 对于每一个训练文本，它只考虑每种词汇在该训练文本中出现的频率。 CountVectorizer会将文本中的词语转换为词频矩阵，它通过fit_transform函数计算各个词语出现的次数。 CountVectorizer(input='content', encoding='utf-8', decod...
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
生活需要深度
10-22 1977
在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处理和学习在这里插入图片描述文本Embedding在自然语言处理（NLP）中，文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。
合合信息ACGE_Text_Embedding模型：文本向量化的未来趋势
qq_44103359的博客
04-28 632
文本向量化是将文本转换为向量表示的过程，这种向量可以表示文本的内容、情感、主题等信息。文本向量化有助于计算机更好地理解和处理文本数据，是NLP领域的基础技术之一。通过本文的详细讲解和实例演示，我们可以看到ACGE_Text_Embedding模型在文本向量化领域的优势。该模型能够提供高性能、高精度的文本向量表示，适用于多种NLP任务。随着技术的不断进步，我们有理由相信，ACGE_Text_Embedding模型将在未来发挥更大的作用，为NLP领域提供更加高效和便捷的解决方案。
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
热门推荐
结构之法 算法之道
12-31 4万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
Python自然语言处理实战（7）：文本向量化
Just for fun的专栏
07-18 7415
7.1 文本向量化概述     文本表示是自然语言处理中的基础工作，文本表示的好坏直接影响到整个自然语言处理系统的性能。文本向量化是文本表示的一种重要方式。顾名思义，文本向量化就是将文本表示成一系列能够表达文本语义的向量。无论是中文还是英文，词语都是表达文本处理的最基本单元。当前阶段，对文本向量化大部分的研究都是通过词向量化实现的。与此同时，也有相当一部分研究者将句子作为文本处理的基本单元，于是...
文本向量化的embedding中文模型
02-06
### 合合信息的 acge_text_embedding 模型 对于中文文本向量化的需求，合合信息近期发布的 `acge_text_embedding` 句子向量模型是一个值得考虑的选择。该模型在 MTEB 中文榜单（C-MTEB）上取得了第一名的成绩，显示了其卓越的表现和可靠性[^1]。 #### 技术特点 - **高质量语料训练**：基于大规模高质量中文语料库进行预训练，确保模型具备强大的泛化能力。 - **先进架构设计**：采用最新的神经网络结构和技术优化方案，在保持计算效率的同时提升了表达力。 - **广泛适用场景**：不仅限于特定领域或任务类型，可以灵活应用于多种实际应用场景中。 ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer('Acgex/acge_text_embedding') sentences = ["这是一句测试的话", "另一个例子"] embeddings = model.encode(sentences) print(embeddings.shape) # 输出 (2, dim)，其中dim为嵌入维度大小 ``` 此代码片段展示了如何利用 Hugging Face 的 `sentence-transformers` 库加载并使用 `acge_text_embedding` 模型来获取句子级别的特征表示。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

翱翔-蓝天

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值