使用RAG-GPT快速搭建LangChain官网智能客服

于 2024-06-17 21:28:52 发布
阅读量637 收藏 16
点赞数 15
文章标签： gpt langchain 人工智能 chatgpt 流程图 AI大模型 AI技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59235945/article/details/139755084
版权

引言

随着GPT等大型语言模型（LLM）能力越来越强大，如何将这些模型精准地应用于特定垂直领域，让各行业开发者快速利用LLM赋能也成为热点和痛点。众所周知，LLM在处理超出其训练数据或涉及最新实事时，常会产生“幻觉”现象，简单理解就是会出现一本正经的胡说八道，回答不准确。针对此问题，RAG通过从外部知识库检索相关文档作为上下文输入到LLM有效地减少了生成内容不符合实际的情况。

RAG技术原理介绍

在介绍RAG-GPT项目之前，我们首先要理解RAG的基本原理，RAG在问答系统中的一个典型应用主要包括三个模块，分别是：

  • Indexing（索引）：将文档分割成chunk，编码成向量，并存储在向量数据库中。

  • Retrieval（检索）：根据用户输入query和向量数据库中chunks语义相似度检索与问题最相关的前k个chunk，形成本次问答的上下文。

  • Generation（生成）：将原始问题和检索到的chunks整合形成合适的prompt一起输入到LLM中，让LLM输出与上下文有关的回答。

智能文档的在线检索流程可以用一张图说明，上图中展示了一个完整的问答流程：

  • 用户发起query

  • 结合Bot实际应用场景，评估是否对query进行rewrite

  • Retieval模块根据query检索出Indexing中的相关的文档

  • 将召回的文档进行Reranking

  • 并且根据relevance score进行过滤，过滤掉低质的文档

  • 形成合适的Prompt后输入到LLM大模型中，最后生成答案

以上是对RAG技术的基本介绍，如果想深入了解技术细节可以参考这篇文章：RAG技术全解析：打造下一代智能问答系统。

如何快速实现RAG的智能问答系统？

从RAG的原理介绍中可以看到要实现RAG整套架构还是存在一定工作量，需要构建索引、检索、集成LLM、Prompt优化等一系列模块，具有一定的难度。

基于此，RAG-GPT提供了一整套开源解决方案，旨在利用LLM和RAG技术快速搭建一个全功能的客服解决方案。该项目基于Flask框架，包括前端用户界面、后端服务和管理员控制台，为企业利用LLM搭建智能客服等对话场景提供了一个完整的自动化解决方案，可以帮助开发者快速搭建一个智能问答系统，且代码完全开源。项目地址：https://github.com/open-kf/rag-gpt

RAG-GPT的基本架构

RAG-GPT关键特性：

  • 内置LLM支持：支持云端LLM和本地LLM。

  • 快速设置：只需五分钟即可部署生产级对话服务机器人。

  • 多样化知识库集成：支持多种类型的知识库，包括网站、独立URL和本地文件。

  • 灵活配置：提供用户友好的后台，配备可定制的设置以简化管理。

  • 美观的用户界面：具有可定制且视觉上吸引人的用户界面。

从特性可以知道，RAG相比一些商业收费的基于知识库的问答系统优势在于：

  • 易用、快速搭建。

  • 能自主管理知识库，避免商业秘密和知识产权泄漏。

  • 可以自主选择LLM模型和甚至扩展部署本地模型。

RAG-GPT 快速搭建智能问答系统

RAG-GPT的基本组成分为三部分：- 智能问答后端服务- 管理后台系统- 用户使用的ChatBot UI。

下面，将介绍如何启动RAG-GPT项目和使用这三个模块，将RAG-GPT集成到你的网站只需要5个步骤：

1. 下载源代码，通过Git克隆RAG-GPT的GitHub仓库：
git clone https://github.com/open-kf/RAG-GPT.git && cd RAG-GPT
2.配置环境变量

在启动RAG-GPT服务之前，需要修改相关配置，以便程序正确初始化。

这里使用 OpenAI 作为 LLM 底座

cp env_of_openai .env

.env 文件中的变量

LLM_NAME="OpenAI"  
OPENAI_API_KEY="xxxx"  
GPT_MODEL_NAME="gpt-3.5-turbo"  
MIN_RELEVANCE_SCORE=0.3  
BOT_TOPIC="xxxx"  
URL_PREFIX="http://127.0.0.1:7000/"  
USE_PREPROCESS_QUERY=0  
USE_RERANKING=1  
USE_DEBUG=0

对 .env 中的变量做以下调整：

  • 不要修改 LLM_NAME。

  • 将 OPENAI_API_KEY 替换为你自己的密钥。请登录 (OpenAI 网站)[https://platform.openai.com/api-keys ] 查看你的 API 密钥。

  • 更新 GPT_MODEL_NAME 设置，将 gpt-3.5-turbo 替换为 gpt-4-turbo 或 gpt-4o，如果你想使用 GPT-4。

  • 将 BOT_TOPIC 更改为你的机器人的名称。这非常重要，因为它将在构造Prompt中使用。我在这里要搭建LangChain网站的智能客服，所以改写为LangChain。

  • 调整 URL_PREFIX 以匹配你的网站的域名。

  • 有关常量的含义和用法的更多信息，可以查看 server/constant 目录下的文件。

3.执行启动命令

分别执行以下命令，即可启动。

[!NOTE]请使用 Python 3.10.x 或以上版本。

先安装python依赖项

python3 -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

启动项目即可：

python create_sqlite_db.py  
python rag_gpt_app.py

或者执行

sh start.sh

在这里插入图片描述

4.快速体验聊天效果
  • 启动服务后先打开管理后台。

首先要登录到管理后台，浏览器输入：http://127.0.0.1:7000/open-kf-admin/登录账号为：admin 密码 ：open_kf_AIGC@2024 .

  • 导入知识库，这里输入LangChain的网站。

在管理后台切换到source tab，输入LangChain官网地址：https://python.langchain.com/v0.1/docs/get_started/introduction/，点击 Fetch more links 即可一键爬取网站内容作为知识库。

在后台可以看到爬取网页URL的日志。

在这里插入图片描述

获取网站的所有网页URL后，此时网页URL展示的状态是 Recorded。在管理后台，点击 Confirm 提交想要抓取的网页URL（默认抓取获取的所有URL）。

在这里插入图片描述

等所有网页URL的文本都被抓取，并且存入向量数据库后，在管理后台上所有网页URL展示的状态都是 Trained 。

在这里插入图片描述

浏览器打开http://127.0.0.1:7000/open-kf-chatbot/，就可以访问Bot了。

在这里插入图片描述

5.一键嵌入到网站

RAG-GPT提供了将聊天机器人嵌入到网站的方法，使得用户可以直接在网站上使用智能问答服务。打开管理后台菜单切换到embed，复制两个代码即可实现一键嵌入，这两个代码片效果分别如下：一个是iframe嵌入一个聊天窗口，一个是在页面右下角点击弹出聊天窗口。可以新建一个文本文件，将代码复制进去，用浏览器打开就可以看到嵌入效果了。

6.管理后台其他功能
  • 管理员可以通过仪表板查看用户的历史请求记录，以便进行分析和优化。

可以按照时间、用户查询聊天记录和修改问答对的答案以更符合自身需求。

  • 配置聊天对话的UI

用户可以定制化聊天对话框的风格，使其更符合自身网站的风格特性。

结语

RAG-GPT项目具备开源免费、易于部署集成、开箱即用和功能丰富的特点，为LLM大模型在特定领域的应用落地提供了一套企业级的解决方案。RAG-GPT已经支持本地文件知识库，集成国内LLM大模型等特性，使得RAG-GPT满足更多样化的需求。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

程序猿李巡天
关注
  • 15
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用RAG增强的对话机器人实现智能客服
禅与计算机程序设计艺术
04-01 551
让读者能够深入了解利用RAG增强的对话机器人实现智能客服的核心原理和最佳实践。 利用RAG增强的对话机器人实现智能客服 1. 背景介绍 随着人工智能技术的不断发展,对话机器人在客户服务领域的应用越来越广泛。传统的基于规则的对话系统已经无法满足日益复杂的客户需求,因此需要
LangChain打造一个AI客服
kaka0722ww的博客
05-28 920
是现在用得最多的AI框架，在帮助如基于文档数据的回答、聊天机器人和代理这类的应用程序ChatGPT就是OpenAI开发的一种基于人工智能技术的自然语言处理模型，它的API允许开发人员通过简单的API调用来访问这些模型我们使用Google Colab在线平台运行python代码链接：colab.research.google.com/点击：platform.openai.com/api-keys 创建你的APIKey新建代码，输入并运行如下代码： 安装langchain极简AI开发框架，细心的你会发现，此时的
微软推出了GPT-RAG：这是一个机器学习库，为在Azure OpenAI上使用RAG模式生产部署大型语言模型（LLMs）提供了企业级参考架构
2301_79342058的博客
12-23 459
AI工作负载由Azure Open AI、Azure AI服务和Cosmos DB处理，为企业工作流中具有推理能力的LLMs创造了一个全面的解决方案。此外，GPT-RAG的框架支持自动扩展，确保系统能够适应波动的工作负载，在高峰时期提供无缝的用户体验。总之，GPT-RAG可以是一个开创性的解决方案，确保企业利用LLMs的推理能力。此外，它使企业能够在其企业内无与伦比的安全性、可扩展性和控制下，利用LLMs的力量。订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。点击订阅，与未来同行！
我用LLaMA大模型开发了一个聪明又温柔的智能客服机器人——她的名字叫“云云”
一名高级工程师的博客
03-18 1649
至此，我的开发人工智能客服的尝试告一段落，说一下自己的体会吧。1）如果要做智能客服，大模型是最好的选择，因为它是真正的“智能”：会学习，会总结，会推流，不刻板，有人情味。2）企业知识库和个性化数据的搜集整理和编辑很重要，这些是大模型的学习资料，直接决定你的大模型是不是更像你。3）要想做的更好，要选用合适的大模型，衡量标准包括：是否容易搭建和使用、是否容易调优、是否具有持续性、模型的大小、基础语料的大小和质量、适用的场景（知识问答、聊天、客服、多轮对话...）、运行成本等等。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
在本项目中，我们将深入探讨如何在Windows操作系统上利用TensorRT-LLM（Longformer Language Model）技术部署RAG（Retrieval-Augmented Generation）聊天机器人。RAG是一种先进的自然语言处理模型，它结合了检索式和...
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
01-25
本项目的最新版本中通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务，或使用基于 Streamlit 的 WebUI 进行操作。 依托于本项目...
基于RAG-n算法的低成本FIR滤波器实现
10-16
【基于RAG-n算法的低成本FIR滤波器实现】主要关注的是如何通过优化算法来降低FIR滤波器的硬件实现成本。FIR滤波器因其线性相位特性和绝对稳定性在数字信号处理中广泛应用，但其较长的滤波器阶数导致较高的计算复杂度...
Langchain-一个简单的基于Langchain+RAG的应用示例-附项目源码+流程教程-优质项目实战.zip
最新发布
07-22
Langchain_一个简单的基于Langchain+RAG的应用示例_附项目源码+流程教程_优质项目实战
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
Ollama利用嵌入模型实现RAG应用
小龙在线
04-11 3211
Ollama支持embedding models嵌入模型，从而支持RAG（retrieval augmented generation）应用，结合文本提示词，检索到文档或相关数据。嵌入模型是通过训练生成向量嵌入，这是一长串数字数组，代表文本序列的关联关系。Ollama的嵌入模型有三种：mxbai-embed-large、nomic-embed-text 、all-minilm。
基于Ollama+AnythingLLM快速搭建本地RAG系统
codelearning的专栏
04-21 2773
从chat对话中可以看出基于上传的文档，可以回答简单的问题；对于中文文档推理的效果较差。安装后搜索AnythingLLM或在桌面快捷方式打开程序，兼容多种LLM模型。执行上述命令会在本地的114343端口启动服务，可以供外部调用。基于Ollama+AnythingLLM快速搭建本地RAG系统。embedding模型： nomic-embed-text。下载windows安装包，双击下一步安装即可。操作系统：windows11 23H2。llm模型： gemma:2B。1. 下载安装Ollama。
Ollama安装、远程访问等设置；FastGPT大模型RAG知识库结合使用案例
weixin_42357472的博客
04-12 1906
参考：Ollama作为后端大模型加载运行FastGPT作为前端页面聊天集成RAG框架。
强大的开源项目RAG-GPT：5分钟实现LLM大模型应用到你的网站！
抬头看世界
05-13 1033
随着chatgpt等大型语言模型（LLM）能力越来越强大，如何将这些模型精准地应用于特定垂直领域，让各行业开发者快速利用LLM赋能也成为热点和痛点。众所周知，LLM在处理超出其训练数据或涉及最新实事时，常会产生“幻觉”现象，简单理解就是会出现一本正经的胡说八道，回答不准确。针对此问题，RAG通过从外部知识库检索相关文档作为上下文输入到LLM有效地减少了生成内容不符合实际的情况。 基于此，RAG-GPT提供了一整套开源解决方案，旨在利用LLM和RAG技术快速搭建一个全功能的客服解决方案。
使用Ollama从头构建Embedding和RAG系统
年少的勇气已经用完，剩下的就是三思而后行
04-05 4162
检索增强生成（RAG）赋予大型语言模型新的能力，使其能够与任何大小的文档或数据集进行互动。接下来，请跟随我一起了解如何解析和操作文档，探讨如何利用嵌入向量来描述抽象概念，实现一种简单而强大的方法，以找出文档中与特定查询最相关的部分，并最终构建一个脚本，使本地托管的大型语言模型能够处理您自己的文档。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 408
AI菜鸟向前飞 — LLM简介
Microsoft Azure 推出 GPT-RAG：企业 AI 集成的游戏规则改变者
iCloudEnd的博客
01-07 429
在人工智能快速发展的时代，像 GPT 这样的大型语言模型 (LLM) 已经改变了企业与数据和信息交互的方式。然而，将这些技术集成到企业环境中带来了重大挑战。这包括维护高可用性、稳健的治理和安全性。为了满足这些需求，Microsoft Azure 推出了 GPT-RAG，这是一种突破性的企业 RAG 解决方案加速器，专为在业务环境中有效部署法学硕士而量身定制。
通过 Ollama、Langchain 实现 RAG
hawk2014bj的博客
04-16 2007
RAG 在 Langchain 上的定义是，作为大语言模型最常用的场景就是问答系统，可以针对特别来源数据做问题回答，就是私有数据，这就是 RAG，英文全称是Retrieval Augmented Generation。就是对现有模型数据的增广，大语言模型都是在公众数据上训练，而且只是拿到了某一个时间点之前的数据。RAG 是数据增广，也可以说是数据过滤，按照今天大模型的发展，上下文的长度已经卷到200 万个汉字的无损上下文，那么 RAG 会不会以后就不需要了，每次对话都把文档带上，让我们拭目以待。
基于Ollama和AnythingLLM搭建本地化知识库RAG
scj0725的博客
04-24 2704
先看效果,我上传了一个pdf如下：上传之后做向量化处理，处理完成之后，就可以开始问答了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值