LLM大模型：如何选择合适的 Embedding 模型？

于 2024-06-29 15:42:40 发布
阅读量801 收藏 30
点赞数 15
文章标签： embedding 人工智能 产品经理 langchain 大模型 ai产品经理 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AAI666666/article/details/140065398
版权

检索增强生成（RAG）是生成式 AI （GenAI）中的一类应用，支持使用自己的数据来增强 LLM 模型（如 ChatGPT）的知识。

RAG 通常会用到三种不的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。

1、文本数据：MTEB 排行榜

HuggingFace 的 MTEB leaderboard 是一个一站式的文本 Embedding 模型榜！您可以了解每个模型的平均性能。

您可以将“Retrieval Average”列进行降序排序，因为这最符合向量搜索的任务。然后，寻找排名最高、占内存最小的模型。

  • Embedding 向量维度是向量的长度，即 f(x)=y 中的 y，模型将输出此结果。
  • 最大 Token 数是输入文本块的长度，即 f(x)=y 中的 x ，您可以输入到模型中。

除了通过 Retrieval 任务排序外，您还可以根据以下条件进行过滤：

  • 语言：支持法语、英语、中文、波兰语。（例如：task=retrieval, Language=chinese）
  • 法律领域文本。 （例如：task=retrieval，Language=law）

值得注意的是，由于部分训练数据最近才得以公开，一些 MTEB 上的 Embedding 模型可能是看似合适但实际不合适的模型，排名虚高，实际表现可能会有所不同。因此，HuggingFace 发布了一篇博客，介绍了判断模型排名是否可信的要点。点击模型链接（称为“模型卡片”）后：

  • 寻找解释模型如何训练和评估的博客和论文。仔细查看模型训练使用的语言、数据和任务。同时，寻找由知名公司创建的模型。例如，在 voyage-lite-02-instruct 模型卡片上，您会看到其他的 VoyageAI 模型列出，但不包括这个。这是一个提示！该模型是一 个overfitting 模型，不应使用！
  • 在下面的截图中，我会尝试来自 Snowflake 的新模型“snowflake-arctic-embed-1”，因为它排名较高，体积小到足以在我的笔记本电脑上运行，并且模型卡片上有博客和论文的链接。

使用 HuggingFace 的好处就是，在选择完 Embedding 模型后，如果您需要更换模型，只需要在代码中修改 model_name 即可！

代码语言：javascript

**复制

import torch
from sentence_transformers import SentenceTransformer

# Initialize torch settings
torch.backends.cudnn.deterministic = True
DEVICE = torch.device('cuda:3' if torch.cuda.is_available() else 'cpu')

# Load the model from huggingface.
model_name = "WhereIsAI/UAE-Large-V1"  # Just change model_name to use a different model!
encoder = SentenceTransformer(model_name, device=DEVICE)

# Get the model parameters and save for later.
EMBEDDING_DIM = encoder.get_sentence_embedding_dimension()
MAX_SEQ_LENGTH_IN_TOKENS = encoder.get_max_seq_length()

# Print model parameters.print(f"model_name: {model_name}")
print(f"EMBEDDING_DIM: {EMBEDDING_DIM}")
print(f"MAX_SEQ_LENGTH: {MAX_SEQ_LENGTH_IN_TOKENS}")

2、图像数据：ResNet50

有时候您可能想要搜索与输入图像相似的图片。比如，您可能在寻找更多苏格兰折耳猫的图片。在这种情况下，您可以上传一张苏格兰折耳猫的图片，并要求搜索引擎找到类似的图片。

ResNet50 是一种流行的 CNN 模型，最初由微软在 2015 年使用 ImageNet 数据训练。

同样，对于视频搜索，ResNet50 仍然可以将视频转换为 Embedding 向量。然后，对静态视频帧进行相似性搜索，返回给用户最相似的视频作为最匹配结果。

3、音频数据：PANNs

类似于以图搜图，您也可以基于输入的音频片段搜索相似音频。

PANNs（预训练音频神经网络）是常用的音频搜索 Embedding 模型，因为 PANNs 基于大规模音频数据集预训练，并且擅长音频分类和标记等任务。

4、多模态图像与文本数据：

SigLIP 或 Unum

近几年，涌现了一批针对多种非结构化数据（文本、图像、音频或视频）混合训练的 Embedding 模型。这些模型能够在同一向量空间内同时捕获多种类型的非结构化数据的语义。

多模态 Embedding 模型支持使用文本搜索图像、为图像生成文本描述或以图搜图。

OpenAI 在 2021 年推出的 CLIP 是标准的 Embedding 模型。但由于其需要用户自行进行微调，难以使用，所以到了 2024 年，谷歌推出了的 SigLIP（Sigmoidal-CLIP）。该模型在使用 zero-shot prompt时取得了不错的表现。

小型 LLM 模型如今变得越来越流行。因为这些模型不需要大型云计算集群，可以在笔记本电脑上运行。小模型占用的内存较少，延时更低，运行速度比大型模型更快。Unum 提供了多模态小型 Embedding 模型。

5、多模态文本、音频、视频数据

多模态文本-音频 RAG 系统大多使用多模态生成型 LLM。这类应用首先将声音转换为文本，生成声音-文本对，然后将文本转换为 Embedding 向量。之后您可以像往常一样使用 RAG 来检索文本。在最后一步，文本被映射回音频。

OpenAI 的 Whisper 可以将语音转录为文本。此外，OpenAI 的 Text-to-speech (TTS) 模型也可以将文本转换成音频。

多模态文本-视频的 RAG 系统使用类似的方法首先将视频映射到文本，转换为 Embedding 向量，搜索文本，并返回视频作为搜索结果。

OpenAI 的 Sora 可以将文本转换成视频。与 Dall-e 类似，您提供文本提示，而 LLM 生成视频。Sora 还可以通过静态图像或其他视频生成视频。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AAI机器之心
关注
  • 15
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ollama 运行 Embedding 模型
engchina的专栏
05-20 2642
Ollama 运行 Embedding 模型
MTEB - Embedding 模型排行榜
编码时光
05-03 2411
中文榜单(2024-05-03)伊织 2024-05-03（五）
开发RAG应用，你必须知道的7个Embedding模型
python12345_的博客
06-28 1604
在自然语言处理（NLP）领域，Embedding模型是将文本数据转化为数值向量的核心技术，从而让计算机能够便捷地衡量文本间的语义关联，这种表示法已成为多种基础NLP任务的核心，如文本相似度判定、语义搜索、信息检索、文本重新排序、聚类以及作为下游任务的特征输入。
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
热门推荐
结构之法 算法之道
12-31 2万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
Ollama 导入自定义模型
偶尔记一下 - mybatis.io
04-03 6209
在前面 Spring AI 使用本地 Ollama Embeddings 中查找 Embedding 模型的时候，首先看到了 mofanke/dmeta-embedding-zh 模型，这才发现 Ollama 中除了官方模型外还有用户自己上传的其他模型，搜索 dmeta-embedding-zh 找到了抱脸网上的对应模型：https://huggingface.co/DMetaSoul/Dmeta-embedding-zh模型介绍有 MTEB Chinese list 评分排名，打开该地址可以看到排名：
Ollama利用嵌入模型实现RAG应用
小龙在线
04-11 4131
Ollama支持embedding models嵌入模型，从而支持RAG（retrieval augmented generation）应用，结合文本提示词，检索到文档或相关数据。嵌入模型是通过训练生成向量嵌入，这是一长串数字数组，代表文本序列的关联关系。Ollama的嵌入模型有三种：mxbai-embed-large、nomic-embed-text 、all-minilm。
当大语言模型遇见推荐系统
11-21
大语言模型能够自然地进行 NLP 任务，但是从未针对推荐进行设计和训练。此外，目前主流公平的推荐测试大都使用 all-item rank，并且业界 online 的召回、粗排和精排任务的 item 数据量也很大。 2.如何让增强的数据更...
主流开源大模型介绍ChatGLM,LLaMA,Baichuan,BLOOM
06-25
### 主流开源大模型介绍：ChatGLM, LLaMA, Baichuan, BLOOM #### LLM主流大模型类别概述 随着人工智能技术的飞速发展，特别是以ChatGPT为代表的生成式AI的...开发者可以根据实际需求选择最适合的模型进行集成和应用。
LLM基础之Transformer模型简介.pdf
06-19
这个模型由Google在2017年的论文《Attention is All You Need》中提出，它彻底改变了序列建模的方式，为后来的大语言模型（LLM）奠定了基础。Transformer模型的重要性在于它的高效并行计算能力以及自注意力机制，这...
大语言模型主要架构介绍
06-25
### 大语言模型主要架构介绍 #### 一、LLM主要类别 大型语言模型（Large Language Model，简称LLM）是近年来自然语言处理领域的重要研究方向之一。LLM基于Transformer架构，自2017年《Attention Is All You Need》...
开源代码基于langchain的大模型本地知识库系统Langchain-ChatChat
06-07
依托于本项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用**开源**模型**离线私有部署**。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。
合合信息Embedding模型获得MTEB中文榜单第一
陈橘又青的博客
04-28 1万+
最近几年，可以说大语言模型汇聚了所有的光彩，大语言模型的飞速发展更是吸引着社会各界的目光，这些模型的强大能力源自于Embedding技术的支撑，这种技术将语言转化为机器可理解的数值向量。随着大型语言模型的不断突破，Embedding模型的关键性日益凸显，成为推动人工智能领域向前发展的核心动力。在这个充满无限可能的领域中，每一次技术的飞跃都预示着新的变革和机遇。
LLM模型微调方法及经验总结
dzysunshine的博客
07-10 6120
在现在这大规模语言模型（LLM）盛行的时代，由于模型参数和显卡配置的因素，预训练基本是大公司或者高校可以完成的事情，而对于小公司或个人，则只能对LLM进行微调，也就是说微调少量或额外的模型参数，固定大部分预训练模型（LLM）参数，从而大大降低了计算和存储成本，同时，也尽可能实现与全量参数微调相当的性能。本文总结几种主流的微调方法，主要包括Freeze方法、P-tuning方法、Lora方法和Qlora方法。
Text embedding 模型总结
dzysunshine的博客
10-08 9224
目前，随着的火热，除了层出不穷的大模型外，因为检索的能力会很大程度影响最终的问答效果，文本的嵌入模型也是大家比较关注的。本文主要介绍效果较好的几种文本嵌入模型。
【AIGC调研系列】embeding模型有哪些，各有什么优势
zachary的博客
03-05 3760
在AIGC中，Embedding模型是一种将文本数据转换为多维向量数组的技术，这些向量可以代表任何事物，如文本、音乐、视频等。有几种不同的Embedding模型，它们各有其优势和应用领域。
使用Ollama从头构建Embedding和RAG系统
年少的勇气已经用完，剩下的就是三思而后行
04-05 5105
检索增强生成（RAG）赋予大型语言模型新的能力，使其能够与任何大小的文档或数据集进行互动。接下来，请跟随我一起了解如何解析和操作文档，探讨如何利用嵌入向量来描述抽象概念，实现一种简单而强大的方法，以找出文档中与特定查询最相关的部分，并最终构建一个脚本，使本地托管的大型语言模型能够处理您自己的文档。
Spring AI 使用本地 Ollama Embeddings
偶尔记一下 - mybatis.io
04-02 4280
通过 Ollama 的扩展方式，还可以方便我们导入官方仓库不存在的其他模型，后续文章会以。使用 OpenAI 的 Embeddings 接口是有费用的，如果想对大量文档进行测试，使用本地部署的 Embeddings 就能省去大量的费用，所以我们尝试使用本地的 Ollama Embeddings。这个模型包含几个不同的版本，默认为 7b 的版本，可以先试试 7b，如果速度太慢可以换 2b 试试，执行命令。中的参数即可使用其他模型，如果本地下载过 llama2 模型，就可以直接改这里的参数，不需要重新执行。
一文看懂 LIama 2 大模型原理（基础知识篇）
musicml的博客
09-04 2846
1、基础知识LIama2 是 Meta 最新开源的语言大模型，训练数据集2万亿 token，上下文长度是由 LIama 的2048扩展到4096，可以理解和生成更长的文本，包括 7B、13B和70B三个模型，在各种基准集的测试上表现突出，最重要的是，该模型可用于研究和商业用途。1.1 分词（tokenize）语言模型是对文本进行推理。由于文本是字符串，但对模型来说，输入只能是数字，所以就需要将文本...
xinference的text embedding
最新发布
08-09
Xinference是一家专注于自然语言处理技术的公司，其中的文本嵌入（Text Embedding）通常是指将文本数据转换为数值向量的过程，这是深度学习中处理文本数据的一种重要预处理步骤。文本嵌入技术如Word2Vec、GloVe或BERT等模型，能够捕捉到词语之间的语义和语法关联，每个词被映射成一个固定长度的向量空间中的点，相似的词在该空间中的距离较近。 例如，在BERT（Bidirectional Encoder Representations from Transformers）中，文本嵌入是由Transformer架构生成的上下文相关的词向量，这使得模型能够理解单词在句子中的深层含义。通过这种方式，机器可以对文本进行有效的计算操作，用于诸如情感分析、命名实体识别、文本分类等各种自然语言处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值