本篇对嵌入模型的概念、Spring AI 框架对支持嵌入模型的设计，并对其源码进行分析，最后对API接口进行使用。
Embedding模型是RAG（Retrieval-Augmented Generation）技术的核心。也是大模型应用落地必不可少的技术。
什么是Embedding模型
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。 
如图 通俗易懂的描述：嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
Embedding 起源于 Word Embedding。
- 横向发展：Word Embedding -> Item Embedding -> Entity Embedding -> Graph Embedding -> Position Embedding -> Segment Embedding。
- 纵向发展：由静态的Word Embedding（如Word2Vec、GloVe和FastText） -> 动态预训练模型（如ELMo、BERT、GPT、GPT-2、GPT-3、ALBERT、XLNet等）。大型语言模型可以生成上下文相关的 embedding 表示，可以更好地捕捉单词的语义和上下文信息。
使用场景
- 自然语言处理： 将单词或句子转换成向量表示，用于文本分类，机器翻译，情感分析等任务。
- 推荐系统：将用户和产品映射成向量表示，从而能够更好地理解用户的喜好和匹配物品。
- 图像处理：将图像转换成向量表示，用于图像分类，对象检测等任务。
解决问题
- 降维：在高维度空间中，数据点之间可能存在很大的距离，使得样本稀疏，嵌入模型可以减少数据稀疏性。
- 捕捉语义信息：Embedding不仅仅是降维，更重要的是，它能够捕捉到数据的语义信息。语义相近的词在向量上也是相近的
- 特征表示：原始数据的特征往往难以直接使用，通过嵌入模型可以将特征转换成更有意义的表示。
- 计算效率：在低维度空间中对数据进行处理和分析往往更加高效。
Spring AI 框架集成的嵌入模型
-
- text-embedding-3-large
- text-embedding-3-small
- text-embedding-ada-002
-
- text-embedding-ada-002
-
- cohere.embed-multilingual-v3
- cohere.embed-english-v3
-
- amazon.titan-embed-image-v1
- amazon.titan-embed-text-v1
- amazon.titan-embed-text-v2:0
-
- mistral-embed
-
- embedding-gecko-001
-
- Embedding-2
-
- distilbert-base-uncased
-
QianFan 【2024/6/22 新增支持】
- embedding-v1
- bge_large_zh
- bge_large_en
- tao_8k
在 Spring AI 框架中仅支持了国内的智普嵌入模型，对于国内其它的嵌入模型没有支持，如果想使用其它模型，自行接入。
在Huggingface上可以看到对嵌入模型的性能对比； 
嵌入模型源码分析
设计理念
Spring AI 以可移植性 和简单性 的设计理念，统一的抽象EmbeddingModel，旨在与AI和机器学习中的嵌入模型直接集成。
- 可移植性：可确保在各种嵌入模型之间轻松适应。它允许开发人员在不同的嵌入技术或模型之间切换，只需最少的代码更改。这种设计符合Spring的模块化和可互换性理念。
- 简单性：消除了处理原始文本数据和嵌入算法的复杂性，使开发人员无需深入研究底层机制就可以在应用中直接使用。
设计思想
EmbeddingModel类的集成关系如下图(图来自官方网站)所示 
提供统一抽象类EmbeddingModel提供给使用者，而不必了解其内部的实现细节，快速集成嵌入模型。
EmbeddingModel源码
EmbeddingModel作用是调用大模型嵌入模型，将文本，图片或者视频转换为向量。
java
复制代码
public interface EmbeddingModel extends Model<EmbeddingRequest, EmbeddingResponse> {
//嵌入模型访问统一抽象接口，不同的大模型实现该方法完成各自的嵌入逻辑
@Override
EmbeddingResponse call(EmbeddingRequest request);
// 将从文档中抽取出来的Document转换为向量，其中Document对象是在Spring AI文本抽取定义
// 后续文章会对文档的解析进行说明
List<Double> embed(Document document);
// 将文本转换为向量
default List<Double> embed(String text) {
Assert.notNull(text, "Text must not be null");
return this.embed(List.of(text)).iterator().next();
}
// 将一组文本转换为对应的一组向量
default List<List<Double>> embed(List<String> texts) {
Assert.notNull(texts, "Texts must not be null");
return this.call(new EmbeddingRequest(texts, EmbeddingOptions.EMPTY))
.getResults()
.stream()
.map(Embedding::getOutput)
.toList();
}
default EmbeddingResponse embedForResponse(List<String> texts) {
Assert.notNull(texts, "Texts must not be null");
return this.call(new EmbeddingRequest(texts, EmbeddingOptions.EMPTY));
}
// 返回向量的维度，比如OpenAI的 text-embedding-ada-002的维度为1536
// 在AbstractEmbeddingModel中有处理逻辑，在embedding-model-dimensions.properties
// 中有定义，没有定义的会通过测试文本向嵌入模型请求返回
default int dimensions() {
return embed("Test String").size();
}
}
对于EmbeddingRequest请求对象和EmbeddingResponse返回对象，仅是简单的对象，不做特殊说明。
EmbeddingModel实现类
可以根据需求，选择符合自己需求的嵌入模型。在选择嵌入模型时应该考虑 【响应时间的要求】、【存储限制】、【预算约束】、【多语言支持】等来选择。
代码示例(Ollama：gemma:2b 为例)
特别提醒，如果还不知道如何使用Ollama本地部署大模型的请阅读：# 10. Ollama：本地部署大模型 + LobeChat：聊天界面 = 自己的ChatGPT
yml配置：
yml
复制代码
spring:
ai:
ollama:
base-url: http://localhost:11434
embedding:
options:
model: gemma:2b
代码实现
java
复制代码
package org.ivy.controller;
import jakarta.annotation.Resource;
import org.springframework.ai.embedding.EmbeddingRequest;
import org.springframework.ai.embedding.EmbeddingResponse;
import org.springframework.ai.ollama.OllamaEmbeddingModel;
import org.springframework.ai.ollama.api.OllamaModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
@RestController
public class EmbeddingController {
@Resource
private OllamaEmbeddingModel ollamaEmbeddingModel;
@GetMapping("/text")
public List<Double> textEmbedding(String text) {
return ollamaEmbeddingModel.embed(text);
}
@GetMapping("texts")
public EmbeddingResponse embedding(List<String> texts) {
EmbeddingRequest request = new EmbeddingRequest(texts,
OllamaOptions.create().withModel(OllamaModel.GEMMA.getModelName())
);
return ollamaEmbeddingModel.call(request);
}
}
验证结果 
结果就是返回一组向量，具体如何实现，底层的算法是什么，大家自行学习了，不知道并不影响你开发应用。但是对概念还是的要清晰的理解的。
总结
本篇文章主要介绍了嵌入模型的概念，作用，使用场景。并分析了Spring AI框架实现嵌入的设计理念以及源码分析。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
扫一扫
1255
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
