【LLM大模型】Embedding模型概念、源码分析和使用示例

本篇对嵌入模型的概念、Spring AI 框架对支持嵌入模型的设计，并对其源码进行分析，最后对API接口进行使用。

---

---

Embedding模型是RAG（Retrieval-Augmented Generation）技术的核心。也是大模型应用落地必不可少的技术。

---

什么是Embedding模型

Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。 如图 通俗易懂的描述：嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。

Embedding 起源于 Word Embedding。

• 横向发展：Word Embedding -> Item Embedding -> Entity Embedding -> Graph Embedding -> Position Embedding -> Segment Embedding。
• 纵向发展：由静态的Word Embedding（如Word2Vec、GloVe和FastText） -> 动态预训练模型（如ELMo、BERT、GPT、GPT-2、GPT-3、ALBERT、XLNet等）。大型语言模型可以生成上下文相关的 embedding 表示，可以更好地捕捉单词的语义和上下文信息。

使用场景

• 自然语言处理： 将单词或句子转换成向量表示，用于文本分类，机器翻译，情感分析等任务。
• 推荐系统：将用户和产品映射成向量表示，从而能够更好地理解用户的喜好和匹配物品。
• 图像处理：将图像转换成向量表示，用于图像分类，对象检测等任务。

解决问题

• 降维：在高维度空间中，数据点之间可能存在很大的距离，使得样本稀疏，嵌入模型可以减少数据稀疏性。
• 捕捉语义信息：Embedding不仅仅是降维，更重要的是，它能够捕捉到数据的语义信息。语义相近的词在向量上也是相近的
• 特征表示：原始数据的特征往往难以直接使用，通过嵌入模型可以将特征转换成更有意义的表示。
• 计算效率：在低维度空间中对数据进行处理和分析往往更加高效。

Spring AI 框架集成的嵌入模型

• OpenAI Embeddings

  • text-embedding-3-large
  • text-embedding-3-small
  • text-embedding-ada-002

• Azure OpenAI Embeddings

  • text-embedding-ada-002

• Cohere Embeddings

  • cohere.embed-multilingual-v3
  • cohere.embed-english-v3

• Titan Embeddings

  • amazon.titan-embed-image-v1
  • amazon.titan-embed-text-v1
  • amazon.titan-embed-text-v2:0

• Mistral AI Embeddings

  • mistral-embed

• VertexAI Embeddings

  • embedding-gecko-001

• ZhiPuAI Embeddings

  • Embedding-2

• PostgresML Embeddings

  • distilbert-base-uncased

• QianFan 【2024/6/22 新增支持】

  • embedding-v1
  • bge_large_zh
  • bge_large_en
  • tao_8k

在 Spring AI 框架中仅支持了国内的智普嵌入模型，对于国内其它的嵌入模型没有支持，如果想使用其它模型，自行接入。

在Huggingface上可以看到对嵌入模型的性能对比；

嵌入模型源码分析

设计理念

Spring AI 以可移植性 和简单性 的设计理念，统一的抽象EmbeddingModel，旨在与AI和机器学习中的嵌入模型直接集成。

• 可移植性：可确保在各种嵌入模型之间轻松适应。它允许开发人员在不同的嵌入技术或模型之间切换，只需最少的代码更改。这种设计符合Spring的模块化和可互换性理念。
• 简单性：消除了处理原始文本数据和嵌入算法的复杂性，使开发人员无需深入研究底层机制就可以在应用中直接使用。

设计思想

EmbeddingModel类的集成关系如下图(图来自官方网站)所示 提供统一抽象类EmbeddingModel提供给使用者，而不必了解其内部的实现细节，快速集成嵌入模型。

EmbeddingModel源码

EmbeddingModel作用是调用大模型嵌入模型，将文本，图片或者视频转换为向量。

java
复制代码
public interface EmbeddingModel extends Model<EmbeddingRequest, EmbeddingResponse> {
    //嵌入模型访问统一抽象接口，不同的大模型实现该方法完成各自的嵌入逻辑
    @Override
    EmbeddingResponse call(EmbeddingRequest request);

    // 将从文档中抽取出来的Document转换为向量，其中Document对象是在Spring AI文本抽取定义
    // 后续文章会对文档的解析进行说明
    List<Double> embed(Document document);
    
    // 将文本转换为向量
    default List<Double> embed(String text) {
        Assert.notNull(text, "Text must not be null");
        return this.embed(List.of(text)).iterator().next();
    }
    
    // 将一组文本转换为对应的一组向量
    default List<List<Double>> embed(List<String> texts) {
        Assert.notNull(texts, "Texts must not be null");
        return this.call(new EmbeddingRequest(texts, EmbeddingOptions.EMPTY))
                .getResults()
                .stream()
                .map(Embedding::getOutput)
                .toList();
    }

    default EmbeddingResponse embedForResponse(List<String> texts) {
        Assert.notNull(texts, "Texts must not be null");
        return this.call(new EmbeddingRequest(texts, EmbeddingOptions.EMPTY));
    }

    // 返回向量的维度，比如OpenAI的 text-embedding-ada-002的维度为1536
    // 在AbstractEmbeddingModel中有处理逻辑，在embedding-model-dimensions.properties
    // 中有定义，没有定义的会通过测试文本向嵌入模型请求返回
    default int dimensions() {
        return embed("Test String").size();
    }

}

对于EmbeddingRequest请求对象和EmbeddingResponse返回对象，仅是简单的对象，不做特殊说明。

EmbeddingModel实现类

可以根据需求，选择符合自己需求的嵌入模型。在选择嵌入模型时应该考虑 【响应时间的要求】、【存储限制】、【预算约束】、【多语言支持】等来选择。

代码示例(Ollama：gemma:2b 为例)

特别提醒，如果还不知道如何使用Ollama本地部署大模型的请阅读：# 10. Ollama：本地部署大模型 + LobeChat：聊天界面 = 自己的ChatGPT

yml配置：

yml
复制代码
spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      embedding:
        options:
          model: gemma:2b

代码实现

java
复制代码
package org.ivy.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.embedding.EmbeddingRequest;
import org.springframework.ai.embedding.EmbeddingResponse;
import org.springframework.ai.ollama.OllamaEmbeddingModel;
import org.springframework.ai.ollama.api.OllamaModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

@RestController
public class EmbeddingController {

    @Resource
    private OllamaEmbeddingModel ollamaEmbeddingModel;

    @GetMapping("/text")
    public List<Double> textEmbedding(String text) {
        return ollamaEmbeddingModel.embed(text);
    }

    @GetMapping("texts")
    public EmbeddingResponse embedding(List<String> texts) {
        EmbeddingRequest request = new EmbeddingRequest(texts,
                OllamaOptions.create().withModel(OllamaModel.GEMMA.getModelName())
        );
        return ollamaEmbeddingModel.call(request);
    }
}

验证结果 结果就是返回一组向量，具体如何实现，底层的算法是什么，大家自行学习了，不知道并不影响你开发应用。但是对概念还是的要清晰的理解的。

总结

本篇文章主要介绍了嵌入模型的概念，作用，使用场景。并分析了Spring AI框架实现嵌入的设计理念以及源码分析。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓