自己手写了一个大模型RAG项目-06.使用自己的embedding模型

最新推荐文章于 2024-06-14 20:43:21 发布
最新推荐文章于 2024-06-14 20:43:21 发布
阅读量795 收藏 4
点赞数 3
分类专栏： 大模型 文章标签： embedding 语言模型 人工智能 python prompt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35054222/article/details/139213516
版权

大家好，我是程序锅。

github上的代码封装程度高，不利于小白学习入门。

常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。

因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。

整体项目结构如下图所示：手把手教你大模型RAG框架架构

手把手教你大模型RAG框架架构

整个小项目分为10个章节，和github高度封装的RAG代码不同，我们将从0到1搭建大模型RAG问答系统，所有代码均整理放置在Github:ai-app，有需要的朋友自取。

图1.RAG技术路线

上一篇文章，我介绍了通过一个小项目实现了大模型RAG。

本篇文章将介绍6.更换embedding模型.

带大家修改里面的Embedding部分，替换成自己本地部署的Embedding模型，并且尝试多模态和单模态两种方式。

一、Embedding原理介绍

一句话说明白Embedding的原理：用向量来表示对象，并衡量对象之间相关性。

1.什么叫做表示对象呢？

我们知道，计算机在处理任何形式的数据时，处理的都是数字，更极端点处理的都是二进制数字。不论是显示图片、文本，还是播放语音、视频，在计算机看来都是数据流。

因此，计算机在处理文本时，只有将文本转换成数字形式才能进行计算，而词嵌入表示就是为了解决这个问题。

这里举一个最简单的例子one-hot编码的概念。

比如，“程序锅讲大模型”这七个字，分别对应“0-6”。由于计算机只能识别"0"和"1"，可将每个字表示为"0"和"1"组成的向量，如下图所示。

image

对象表示是没问题了，但是发现一个问题:用one-hot编码向量之间是没关系的。

是否能够很好衡量向量之间的关系，这是衡量一个Embedding模型好坏的关键。

所以，下面我将介绍如何衡量向量之间的关系。

2.衡量向量之间的关系

embedding模型的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(七龙珠)和Embedding(魔人布欧)之间的距离就会很接近，但 Embedding(七龙珠)和Embedding(乱世佳人)的距离就会远一些。

网上常用的向量模型有：word2vec、Bert等。大模型厂商也会用API提供embedding模型，比如ChatGPT、智谱等等。

通过前面的小项目调用智谱GLM4的接口，我们初步了解大模型embedding能干啥。

下面我们将采用paddleNLp的embedding模型，亲自本地化部署并集成到项目中，涉及多模态和单模态两个版本。

paddleNlp Embedding介绍

飞桨(PaddlePaddle)是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台;使用这个平台，你可以轻松构建模型，清洗数据等。

PaddleNLP依赖于PaddlePaddle,它是百度提供的开源工具，提供开箱即用的产业级NLP预置任务能力，无需训练，一键预测。

PaddleNLP Embedding是PaddleNLP中的一个模块。

PaddleNLP Embedding分为多模态和单模态两个版本，其中多模态适用于图片和文本作为输入，而单模态只适用于文本作为输入。

整体逻辑关系如下所示：

  • 多模态Embedding

多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型，这已经被多篇文章实验验证过。

PaddleNLP Embedding中可以使用的多模态模型如下表所示。

模型视觉文本语言
PaddlePaddle/ernie_vil-2.0-base-zh (默认)ViTERNIE中文
OFA-Sys/chinese-clip-vit-base-patch16ViT-B/16RoBERTa-wwm-Base中文
OFA-Sys/chinese-clip-vit-large-patch14ViT-L/14RoBERTa-wwm-Base中文
OFA-Sys/chinese-clip-vit-large-patch14-336pxViT-L/14RoBERTa-wwm-Base中文
  • 单模态Embedding

PaddleNLP Embedding可以使用的单模态模型如下表所示：

模型层数维度语言
rocketqa-zh-dureader-query-encoder12768中文
rocketqa-zh-dureader-para-encoder12768中文
rocketqa-zh-base-query-encoder12768中文
rocketqa-zh-base-para-encoder12768中文
moka-ai/m3e-base12768中文
rocketqa-zh-medium-query-encoder6768中文
rocketqa-zh-medium-para-encoder6768中文
rocketqa-zh-mini-query-encoder6384中文
rocketqa-zh-mini-para-encoder6384中文
rocketqa-zh-micro-query-encoder4384中文
rocketqa-zh-micro-para-encoder4384中文
rocketqa-zh-nano-query-encoder4312中文
rocketqa-zh-nano-para-encoder4312中文
rocketqav2-en-marco-query-encoder12768英文
rocketqav2-en-marco-para-encoder12768英文
ernie-search-base-dual-encoder-marco-en"12768英文

二、Embedding依赖环境安装

首先添加pip源

由于网络环境，建议添加清华的pip源。步骤如下：

1.在C:\User(或者用户)\电脑的用户名\，目录下创建一个命名为pip的文件夹（如：C:\Users\Administrator\pip），在该文件夹下创建一个命名为pip.ini的文件，在该文件中写入以下内容：

[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=pypi.tsinghua.edu.cn

图1

2.Win+R打开命令行输入cmd，执行以下代码(用于获取镜像源的地址)。

pip config get global.index-url

image

看到如上截图说明镜像源地址切换完毕。

方式一：安装paddlepaddle CPU相关环境

0.激活conda环境

conda activate RAG

1.这里安装paddlepaddle CPU版本，没GPU也可以在笔记本上本地部署。

python -m pip install paddlepaddle==2.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

2.安装paddlenlp

#安装paddlenlp
pip install --upgrade paddlenlp -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：安装paddlepaddle GPU相关环境

如果有GPU服务器，可以在服务器上部署，建议通过docker部署的方式。

1.拉取预安装 PaddlePaddle 的镜像：

docker pull registry.baidubce.com/paddlepaddle/paddle:2.6.0-gpu-cuda12.0-cudnn8.9-trt8.6

2.用镜像构建并进入Docker容器：

nvidia-docker run --name paddle -it -v $PWD:/paddle registry.baidubce.com/paddlepaddle/paddle:2.6.0-gpu-cuda12.0-cudnn8.9-trt8.6 /bin/bash

3.进入镜像后，安装paddlenlp

#安装paddlenlp
pip install --upgrade paddlenlp -i https://pypi.tuna.tsinghua.edu.cn/simple

4.安装截图
image

三、Embedding测试

文档地址：

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/taskflow.md

多模态Embedding测试

1.新建paddleEmbedding.py，执行如下代码

>>> from paddlenlp import Taskflow
>>> import paddle.nn.functional as F
>>> text_encoder = Taskflow("feature_extraction", model='rocketqa-zh-base-query-encoder')
>>> text_embeds = text_encoder(['春天适合种什么花？','谁有狂三这张高清的?'])
>>> text_features1 = text_embeds["features"]
>>> text_features1
Tensor(shape=[2, 768], dtype=float32, place=Place(gpu:0), stop_gradient=True,
       [[ 0.27640465, -0.13405125,  0.00612330, ..., -0.15600294,
         -0.18932408, -0.03029604],
        [-0.12041329, -0.07424965,  0.07895312, ..., -0.17068857,
          0.04485796, -0.18887770]])
>>> text_embeds = text_encoder('春天适合种什么菜？')
>>> text_features2 = text_embeds["features"]
>>> text_features2
Tensor(shape=[1, 768], dtype=float32, place=Place(gpu:0), stop_gradient=True,
       [[ 0.32578075, -0.02398480, -0.18929179, -0.18639392, -0.04062131,
       ......
>>> probs = F.cosine_similarity(text_features1, text_features2)
>>> probs
Tensor(shape=[2], dtype=float32, place=Place(gpu:0), stop_gradient=True,
       [0.86455142, 0.41222256])

单模态Embedding测试

1.新建paddleEmbedding.py，填入如下代码，执行CUDA_VISIBLE_DEVICES=1 python paddleEmbedding.py

>>> from paddlenlp import Taskflow
>>> import paddle.nn.functional as F
>>> text_encoder = Taskflow("feature_extraction", model='rocketqa-zh-base-query-encoder')
>>> text_embeds = text_encoder(['春天适合种什么花？','谁有狂三这张高清的?'])
>>> text_features1 = text_embeds["features"]
>>> text_features1
Tensor(shape=[2, 768], dtype=float32, place=Place(gpu:0), stop_gradient=True,
       [[ 0.27640465, -0.13405125,  0.00612330, ..., -0.15600294,
         -0.18932408, -0.03029604],
        [-0.12041329, -0.07424965,  0.07895312, ..., -0.17068857,
          0.04485796, -0.18887770]])
>>> text_embeds = text_encoder('春天适合种什么菜？')
>>> text_features2 = text_embeds["features"]
>>> text_features2
Tensor(shape=[1, 768], dtype=float32, place=Place(gpu:0), stop_gradient=True,
       [[ 0.32578075, -0.02398480, -0.18929179, -0.18639392, -0.04062131,
       ......
>>> probs = F.cosine_similarity(text_features1, text_features2)
>>> probs
Tensor(shape=[2], dtype=float32, place=Place(gpu:0), stop_gradient=True,
       [0.86455142, 0.41222256])

Embedding模型集成到现有项目

#embedding = ZhipuEmbedding() # 只需注释原有ZhipuEmbedding类
embedding = PaddleEmbedding(model=embedding_model) # 引用PaddleEmbedding类

四、运行

代码目录结构：

├─images
├─RAG #存放RAG核心代码
└─tutorial
    ├─01.如何调用大模型API
    ├─02.RAG介绍
    ├─03.部署环境准备
    ├─04.知识库构建
    ├─05.基于知识库的大模型问答
    ├─06.改进-用自己的embedding模型
    ├─07.封装镜像对外提供服务
    ├─08.改进-基于Faiss的大模型知识索引构建
    ├─09.改进-使用向量数据库
    └─10.前端构建

打开tutorial文件夹，进入06.改进-用自己的embedding模型

本教程默认采用PaddleNLP中的rocketqa-zh-base-query-encoder单模态embedding方法。

step1：执行python prepare.py，使用rocketqa-zh-base-query-encoder模型完成知识库构建

step2：执行python test.py，基于构建的知识库，开展大模型问答。

最后，我撰写的人工智能应用相关的博客及配套代码均整理放置在Github：ai-app，有需要的朋友自取。

程序锅锅
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大模型-大模型RAG应用基础认知视频
03-16
大模型系列基础认知之一：大模型RAG应用基础认知
基于 ChatGLM 等大语言模型与 Langchain 等应用langchain-chatchat-master.zip
02-22
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。 重要提示 0.2.10将会是0.2.x系列的最后一个版本，0.2.x系列版本将会停止更新和技术支持，全力研发...
大模型应用开发，必看的RAG高阶技巧
2301_81940605的博客
04-11 705
大家好最近一直在探索RAG相关的技术，并且分析了langchain和llamaindex相关技术实现，现在总结和分享一些自己的经验。
自己手写了一个大模型RAG项目-05.基于知识库的大模型问答
qq_35054222的博客
04-29 1036
github上的代码封装程度高，不利于小白学习入门。常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。整体项目结构如下图所示：手把手教你大模型RAG框架架构整个小项目分为10个章节，和github高度封装的RAG代码不同，我们将从0到1搭建大模型RAG问答系统！本篇文章将介绍，知识库构建好之后还需要通过知识检索和智能问答。
自己手写了一个大模型RAG项目-04.知识库构建
qq_35054222的博客
04-10 1012
大家好，我是程序锅。github上的代码封装程度高，不利于小白学习入门。常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。整体项目结构如下图所示：手把手教你大模型RAG框架架构整个小项目分为10个章节，和github高度封装的RAG代码不同，我们将从0到1搭建大模型RAG问答系统，所有代码评论区回复rag免费获取！本篇文章将介绍。
大模型外挂知识库rag综述
posuosini的博客
03-19 3052
大模型外挂知识库rag的综述
【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
2301_81888214的博客
05-03 667
【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG
2401_85280307的博客
05-31 413
下载llama-cpp, llama-cpp-pythonLangChain是一个提供了一组广泛的集成和数据连接器，允许我们链接和编排不同的模块。可以常见聊天机器人、数据分析和文档问答等应用。sentence-transformer提供了简单的方法来计算句子、文本和图像的嵌入。它能够计算100多种语言的嵌入。我们将在这个项目中使用开源的all-MiniLM-L6-v2模型。Facebook AI相似度搜索(FAISS)是一个为高效相似度搜索和密集向量聚类而设计的库。
RAG 如何消除大模型幻觉
2401_82469710的博客
04-16 751
解决大模型幻觉问题需要采取多种策略来提高生成模型在自然语言处理任务中的准确性和可靠性。
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
热门推荐
结构之法 算法之道
01-05 74万+
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结 作者：July--结构之法算法之道blog之博主。 时间：2010年10月-2018年5月，一直在不断更新中.. 出处：http://blog.csdn.net/v_JULY_v。 说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。 前言 开博4年有余，...
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
RAG部署_使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG_优质大模型部署项目实战
大模型LLM，RAG实战.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
JAVA版本的检索增强生成(RAG)大模型知识库项目.zip
03-09
JAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的...
从GAN到WGAN（02/2）
最新发布
gongdiwudu的专栏
06-14 938
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
景芯SoC A72的时钟树分析
u011075954的专栏
06-13 537
innovus的ctslog中的Clock DAG信息可以报出来CTS主要运行步骤的关键信息，比如clustering，balancing做完后的clock tree的长度，clock tree上所用的buffer、inverter，icg cell数量，clock skew等信息。可以看到cell、sink的counts，也可以看到BUF、ICG的数量，接下来我们来看看景芯SoC A72 TOP的CLOCK ID和BUF个数的变化吧。先看下景芯SoC A72项目的cts latency变化过程。
LSS 和 BEVDepth算法解读
pytorch内部机制解读
06-13 961
当前BEV的研究大都基于深度学习的方法，从组织BEV特征信息的方式来看，主流方法分属两类：自底向上方法和自顶向下方法。自底向上方法比较早的代表工作是LSS，后来BEVDet、BEVDepth等也是基于LSS的框架来进行优化。自底向上方法核心是：Lift——对各相机的图像显性地估计像平面下采样后特征点的深度分布，得到包含图像特征的视锥（点云）；Splat——结合相机内外参把所有相机的视锥（点云）分配到BEV网格中，对每个栅格中的多个视锥点进行sum-pooling计算，形成BEV特征图；
yolov10主要特点
yzf060109的专栏
06-14 623
以下是YOLOv10与其他模型的快速对比：YOLOv10-S：46.3 AP，2.49毫秒延迟YOLOv10-M：51.1 AP，4.74毫秒延迟YOLOv10-L：53.2 AP，7.28毫秒延迟YOLOv10-X：54.4 AP，10.70毫秒延迟这些改进使YOLOv10成为实时目标检测任务的首选，从自动驾驶到智能监控。与YOLOv9-C相比，YOLOv10-B（一个平衡的变体）延迟减少了46%，参数量减少了25%，同时保持了相同的性能水平。一对多分配：在训练过程中使用，以提供丰富的监督信号。
YesPMP探索Python在生活中的应用，助力提升开发效率
YesPMP20的博客
06-13 779
Python是一种简单易学、高效强大的编程语言，正变成越来越多人选择的热门技能。学习Python不仅可以提供更多就业机会，还能让自己在职场更加有竞争力，那可以去哪里拓展自己的技能呢？
什么是大预言模型RAG
05-22
RAG（Retrieval-Augmented Generation）是一种新型的自然语言处理模型，它集成了检索和生成两种方式，可以完成更加复杂和多样化的自然语言处理任务。大预言模型RAG是指将RAG模型扩展到规模更大、效果更好的版本。 RAG模型的核心思想是结合检索和生成两种方式，以实现更加精确和灵活的自然语言处理。它能够通过检索相关信息来丰富生成的内容，从而提高生成的准确性和连贯性。同时，RAG模型还能够利用先前的上下文信息进行生成，从而使得生成的内容更加符合语境和逻辑。 大预言模型RAG相较于原有的RAG模型，具有更大的规模和更好的效果。它可以处理更加复杂和多样化的任务，并且能够处理更大规模的数据集。此外，大预言模型RAG还能够利用先进的深度学习技术进行优化，从而进一步提高其效果和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值