【LLM大模型】基于RAG检索实现智能客户系统

于 2024-07-29 11:17:31 发布
阅读量255 收藏 9
点赞数 5
文章标签： langchain 人工智能 自然语言处理 prompt 大模型 RAG LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AAI666666/article/details/140766538
版权

1.什么是RAG检索技术：

RAG（Retrieval-Augmented Generation）检索技术是一种结合信息检索（Retrieval）和生成（Generation）的混合模型方法，旨在通过检索相关信息来增强生成模型的性能。RAG 技术特别适用于需要复杂背景信息或大规模知识库支持的任务，如问答系统、对话系统和文本生成等。

2.基于RAG实现智能客户系统：

以美团外卖App余额怎么体现为例子，先看看chatGpt如何回答这个问题的：

在这里插入图片描述

显然并未告诉我们如何进行体现。
再来看看同RAG的方式实现的智能客户系统告诉的答案：

在这里插入图片描述

显然差距就出来了，所以，直接利用ChatGPT来作为智能客服系统行不通，它能够理解你的问题，但是它并不能给你确切的答案，因为对于ChatGPT来说，它并不知道企业内部的专有数据，而这个时候，就可以利用langchain4j来给搭一套智能客服系统。

3.数据整理：
首先，需要把现有的常见文件整理成文档，可以是txt、pdf、xlsx、markdown等格式都可以，这里我直接将网页中的问题和答案转成txt文件，如下所示（展示一部分，数据来源于美团官网）：

在这里插入图片描述

4.具体步骤：

（1）创建maven工程，引入依赖：
引入的依赖有langchain4J，智谱的Ai大模型，能够存储向量的redis。

（2）读取文档中的数据，切分数据，生成向量存储进redis：

（3）向量匹配，使用ContentRetriever组件：
其实这里就是通过ContentRetriever组件来进行向量的匹配，这里设置的是匹配最相似的三个，并且分数在0.6以上的（这里的分数指的就是我提的问题跟redis中存储的向量的相似度，相似度是基于0-1之间的，越接近1表示越相似，其实它就是去算的余弦值）。
这里的contentList其实拿到的只是检索出来的文本，并不是真正的最终答案，但是最终的答案是从这里面组装出来的，我们可以看看这里的输出结果：

在这里插入图片描述

显然这里并不是最终答案，而需要获取真正的答案还需要将匹配出来的向量交给Ai，让其帮你得出最终的答案。

（4）使用contentInjector组件，封装userMessage，将匹配出的向量和提示词交给Ai处理：
这里使用ContentInjector组件来组装封装最终的提示词，其实就是将查询出来的向量和客户的问题交给AI，让AI从我给的这些向量中封装组合成最终的答案放回给用户，从而得到最终的答案：输出如下：

在这里插入图片描述

到这基于RAG的客户智能系统就实现了。

5.流程图：

在这里插入图片描述

当然，其实在提出问题，匹配向量的过程中，langchain4J还提供了很多的增强，如问题一分为三，计算分数等等在这里我就不多分析了，可以自行了解langchain4J更多的使用方式。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AAI机器之心
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从零开始：基于LLM大模型构建智能应用程序的完整指南
禅与计算机程序设计艺术
06-07 1万+
在我们即将发布的帖子中，我们将讨论 LLM 链、意图识别、添加特定于任务的工具、集群、创建推荐系统、微调开源 LLM 以及我们测试系统的方式等话题不断改进并从研究和开源社区中学习。在零样本学习中，语言模型被要求在没有明确示例的情况下完成任务，而在少样本学习中，为模型提供了有限数量的示例，或“少样本”，嵌入在提示中. 提示对于将模型引导到一个方向并避免产生幻觉非常重要。根据您的需要，其他方法可能更有效。LLM大模型是一种基于深度学习技术的模型，它可以自动学习并理解大量的数据，从而实现高效、准确的预测和分类。
基于 LLM 大语言模型的知识库问答系统，1Panel 官方出品
05-28
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、RAG（检索增强生成），智能...
【LLM大模型】基于LangChain构建RAG应用
2301_81888214的博客
07-09 906
【LLM大模型】基于LangChain构建RAG应用
大模型的RAG(检索增强生成) ----大模型外挂
cumtchw
04-19 1570
检索增强生成（RAG）是一个概念，也可以称为一种范式，它旨在为大语言模型（Large Language Model，LLM）提供额外的、来自外部知识源的信息。
大模型RAG技术：构建高效、可信赖的知识检索系统
2401_82469710的博客
06-25 994
RAG 是解决其中一些挑战的一种方法。它会重定向 LLM，从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出，并且用户可以深入了解 LLM 如何生成响应。
大模型高级 RAG 检索策略之混合检索
机器学习社区
06-06 1754
混合检索也叫融合检索，也叫多路召回，是指在检索过程中，同时使用多种检索方式，然后将多种检索结果进行融合，得到最终的检索结果。混合检索的优势在于可以充分利用多种检索方式的优势，弥补各种检索方式的不足，从而提高检索的准确性和效率，下面是混合检索的流程图：首先是问题查询，这一过程的设计可以简单也可以复杂，简单的做法是直接将原始查询传递给检索器，而复杂一点的做法是通过 LLM（大语言模型）为原始查询生成子查询或相似查询，然后再将生成后的查询传递给检索器。
RAG实战案例：如何基于 LangChain 实现智能检索生成系统
FrenzyTechAI的博客
12-22 5955
检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。通过从更多数据源添加背景信息，以及通过训练来补充 LLM 的原始知识库，检索增强生成能够提高搜索体验的相关性。这能够改善大型语言模型的输出，但又无需重新训练模型。
【LLM大模型】使用RAG-GPT和Ollama搭建智能客服
AAI666666的博客
07-09 1012
Indexing（索引）：将文档分割成chunk，编码成向量，并存储在向量数据库中。Retrieval（检索）：根据用户输入query和向量数据库中chunks语义相似度检索与问题最相关的前k个chunk，形成本次问答的上下文。Generation（生成）：将原始问题和检索到的chunks整合形成合适的prompt一起输入到LLM中，让LLM输出与上下文有关的回答。用户发起query结合Bot实际应用场景，评估是否对query进行rewrite。
如何使用 Re-Ranking 改进大模型 RAG 检索
2301_78285120的博客
05-27 972
基于大型语言模型（LLMs）的聊天机器人可以通过检索增强生成（RAG）提供外部知识来改进。这种外部知识可以减少错误答案（幻觉），并且使模型能够访问其训练数据中未包含的信息。通过RAG，我们将信息，如PDF文档或维基百科文章，作为额外的上下文提供给我们的LLM。然而，RAG聊天机器人遵循数据科学的老原则：输入垃圾，输出垃圾。如果文档检索失败，LLM模型就没有机会提供一个好的答案。
RAG增强检索-提升大LLM模型应用的准确率
ejinxian的专栏
07-13 433
Reranker （重排器）是信息检索（IR）生态系统中的一个重要组成部分，用于评估搜索结果，并进行重新排序，从而提升查询结果相关性。在 RAG 应用中，主要在拿到向量查询（ANN）的结果后使用重排器，能够更有效地确定文档和查询之间的语义相关性，更精细地对结果重排，最终提高搜索质量。检索增强生成（RAG）是一种新兴的 AI 技术栈，通过为大型语言模型（LLM）提供额外的 “最新知识” 来增强其能力。提示词工程（Prompt engineering）：用于将用户的问题和检索到的上下文组合成大模型的输入。
大模型高级 RAG 检索策略之流程与模块化
2301_78285120的博客
06-12 1017
通过上面的示例，我们可以看到如何通过模块化和流程的方式来实现高级 RAG 检索功能，我们可以根据具体的需求，自定义不同的模块，然后将这些模块按照一定的顺序组合起来，形成一个完整的查询流水线。在 RAG 应用中，我们还可以定义多个查询流水线，用于不同的场景，比如问答、对话、推荐等，这样可以更好地满足不同的需求。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。
大模型LLM，RAG实战.zip
03-14
标题中的“大模型LLM，RAG实战”指的是在自然语言处理领域中，大型语言模型（Large Language Models, LLM）的应用，特别是Relevance-Aware Generation（RAG）模型的实际操作。RAG是一种结合了检索式和生成式模型优势...
《AI大模型应用》--基于LLM进行检索增强式的安全知识库管理.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
总结来说，这个项目实战旨在教大家如何在Windows环境中利用TensorRT-LLM部署RAG聊天机器人，结合检索增强和高性能推理，实现更加智能和高效的对话体验。通过这个实践，开发者不仅能掌握RAG模型的原理和应用，还能...
Graph RAG 图的检索增强生成
07-25
图的检索增强生成（Graph RAG） 结合了大语言模型（LLM）和图索引，通过创建一个实体知识图并生成社区摘要，以应对全局性问题。
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5748
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
2024钉钉杯A题思路详解
最新发布
全栈川川
07-26 1619
2024钉钉杯思路
【自然语言处理】概论（一）：自然语言处理概要
古月居
07-25 649
语言：语言就广义而言，是采用一套具有共同处理规则来进行表达的沟通指令，指令会以视觉、声音或者触觉等方式来传递。可以分为:自然语言、动物语言、计算机语言。。。自然语言人类在发展过程中形成的一种信息交流方式，包括口语和书面语，反映人类的思想。它自然地随文化演化，是人类用来沟通的指令，可以通过视觉、声音或触觉等方式传递。定义：自然语言处理是计算机科学和人工智能的一个分支，它旨在开发能够理解和生成人类语言的技术。通过建立形式化计算模型来分析、理解和生成自然语言的学科。
常见的文心一言的指令
知码客
07-25 1254
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值