MaxKB中如何选择向量模型？-CSDN博客

本文链接：https://blog.csdn.net/2401_82469710/article/details/147982004

MaxKB内置的向量模型不足？

在MaxKB中知识文档Emdeding是很重要的一环，而这个过程就必须依赖向量模型。目前MaxKB内置的向量模型为text2vec-base-Chinese，一个针对中文语义匹配任务优化的向量模型，特别适用于中文句子级别的语义匹配任务。早期的时候在多个领域表现出了优秀的性能。但是，刚刚也说了是早期，以现在的时间点来看，不可避免的有些其他不足：

长文本处理能力：在处理长文本时，可能无法有效搜索到相关结果，这表明在长文本处理方面可能存在一定的局限性。
向量模型“坍缩”现象：这个现象指的是BERT对所有的句子都倾向于编码到一个较小的空间区域内，这使得大多数的句子对都具有较高的相似度分数。这会导致模型难以准确地反映出两个句子的语义相似度，尤其是在处理长文本时，可能会经常搜索不到不准确的结果。
模型实时性问题：至目前为主，text2vec-base-Chinese官方库最新一次更新时间为[2023/09/20] v1.2.9版本，也就是一年多的时间没有更新了，在这个AI快速发展的时代，一年的时间显的很长。

备注：BERT（Bidirectional Encoder Representations from Transformers）是由 Google 在 2018 年提出的一种预训练语言表示模型，它基于 Transformer 架构构建，通过深度双向训练来理解语言的上下文信息。

并且，为了应对不同文档Emdeding，有时候我们也需要在MaxKB更换不同的向量模型。现在向量模型的种类大概分为六大类，向量模型的数量基本也有上百种以上，如何选择向量模型一直是个难题。

BERT (Bidirectional Encoder Representations from Transformers)：这是一种基于 Transformer 架构的预训练语言表示模型，它通过深度双向训练来理解语言的上下文信息。BERT 在自然语言处理（NLP）领域取得了显著的性能提升，被广泛应用于各种任务，如情感分析、问答系统、命名实体识别等。
M3E (Massive Mixed Embedding)：M3E 在私有部署和大规模文本处理方面表现出色，适用于需要私有化和资源节约的场景。它通过大规模混合嵌入技术提高了词向量的表达能力和泛化能力，适用于各种文本处理任务。
BGE (Baidu General Embedding)：BGE 系列模型在全球下载量超过1500万，位居国内开源 AI 模型首位，表明其资源使用高效且受欢迎。BGE 在多语言支持、文本处理能力和检索精度方面表现优异，尤其适合需要高精度和高效率的场景。
Sentence Transformers：基于孪生 BERT 网络预训练得到的模型，对句子的嵌入效果比较好。
OpenAI Embedding (text-embedding-ada-002)： OpenAI 提供的模型，嵌入效果表现不错，且可以处理最大 8191 标记长度的文本。
Instructor Embedding：这是一个经过指令微调的文本嵌入模型，可以根据任务（例如分类、检索、聚类、文本评估等）和领域（例如科学、金融等），提供任务指令而生成相对定制化的文本嵌入向量，无需进行任何微调。

那么我们应该在MaxKB中如何选择向量模型？

选择向量模型的第一点需要考虑模型的排行，应用场景等。但是这些在huggingface、魔塔社区都有相应的说明，反而不是太过担心。

比如huggingface的MTEB榜单：https://huggingface.co/spaces/mteb/leaderboard（评估和比较不同文本嵌入模型的基准测试性能，MTEB榜单涵盖了多种语言和任务类型，包括法语、英语、中文等112种语言，涉及检索、排序、句子相似度、推理、分类、聚类等任务。通过这些任务，MTEB能够评估模型在不同场景下的表现，为用户提供选择依据‌）

魔塔社区（https://modelscope.cn/） ModelScope社区成立于2022年6月,是一个模型开源社区及创新平台,由阿里巴巴达摩院,联合CCF开源发展委员会,共同作为项目发起方。

具体在MaxKB中替换向量模型时选择哪一种？这个就需要结合上述六大分类的向量模型，综合以下几个方面进行考量：

语义理解能力：需要能够理解句子或段落级别的语义，而不仅仅是词汇级别的相似度。
运行效率：针对大规模语料的检索需要考虑计算效率和相似度检索时间。
上下文依赖性：选择模型时需要考虑上下文对语义匹配的重要性。
领域适配性：有些模型对特定任务或领域（如法律、医学）需要采用专业领域模型（微调或者现有的）以提供最佳性能。

从huggingface的MTEB中文榜单中，可以看出目前支持中文主流的向量模型有以下几种（相对而言，模型更新太快）。以下是汇总了MTEB排行榜中第1至第20位中包含具体参数信息的模型，及其性能参数，补充了模型简介和适用场景：

当然，上述为通用模型，在一些特殊领域也可以使用以下场景模型，比如面向电商、医疗等，可以按照实际场景进行选择：

关于在MaxKB中如何替换向量模式这边就不过多介绍，可以通过接入公有向量模型、Xinference、或者本地模型方式接入，具体可以参考手册，比如在Xinference中启用本地向量模型（用ollama、本地模型的方式也可以）。

启动后，在MaxKB中接入使用即可。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望