1.什么是RAG检索技术:
RAG(Retrieval-Augmented Generation)检索技术是一种结合信息检索(Retrieval)和生成(Generation)的混合模型方法,旨在通过检索相关信息来增强生成模型的性能。RAG 技术特别适用于需要复杂背景信息或大规模知识库支持的任务,如问答系统、对话系统和文本生成等。
2.基于RAG实现智能客户系统:
以美团外卖App余额怎么体现为例子,先看看chatGpt如何回答这个问题的:
显然并未告诉我们如何进行体现。
再来看看同RAG的方式实现的智能客户系统告诉的答案:
显然差距就出来了,所以,直接利用ChatGPT来作为智能客服系统行不通,它能够理解你的问题,但是它并不能给你确切的答案,因为对于ChatGPT来说,它并不知道企业内部的专有数据,而这个时候,就可以利用langchain4j来给搭一套智能客服系统。
3.数据整理:
首先,需要把现有的常见文件整理成文档,可以是txt、pdf、xlsx、markdown等格式都可以,这里我直接将网页中的问题和答案转成txt文件,如下所示(展示一部分,数据来源于美团官网):
4.具体步骤:
(1)创建maven工程,引入依赖:
引入的依赖有langchain4J,智谱的Ai大模型,能够存储向量的redis。
(2)读取文档中的数据,切分数据,生成向量存储进redis:
(3)向量匹配,使用ContentRetriever组件:
其实这里就是通过ContentRetriever组件来进行向量的匹配,这里设置的是匹配最相似的三个,并且分数在0.6以上的(这里的分数指的就是我提的问题跟redis中存储的向量的相似度,相似度是基于0-1之间的,越接近1表示越相似,其实它就是去算的余弦值)。
这里的contentList其实拿到的只是检索出来的文本,并不是真正的最终答案,但是最终的答案是从这里面组装出来的,我们可以看看这里的输出结果:
显然这里并不是最终答案,而需要获取真正的答案还需要将匹配出来的向量交给Ai,让其帮你得出最终的答案。
(4)使用contentInjector组件,封装userMessage,将匹配出的向量和提示词交给Ai处理:
这里使用ContentInjector组件来组装封装最终的提示词,其实就是将查询出来的向量和客户的问题交给AI,让AI从我给的这些向量中封装组合成最终的答案放回给用户,从而得到最终的答案:输出如下:
到这基于RAG的客户智能系统就实现了。
5.流程图:
当然,其实在提出问题,匹配向量的过程中,langchain4J还提供了很多的增强,如问题一分为三,计算分数等等在这里我就不多分析了,可以自行了解langchain4J更多的使用方式。