前言
这篇文章探讨了如何在工业环境中利用大型语言模型(LLMs)进行问题回答,特别是针对客服场景提供上下文相关的响应预测。然而,为了在行业环境中针对特定客户查询提供精确和相关的信息,LLMs需要访问全面的知识库以避免产生幻觉。面对这个问题,RAG技术应运而生。然而,使用RAG开发实际应用中的问答框架仍面临几个挑战:1)数据可用性问题,2)生成内容质量的评估,3)昂贵的人工评估成本。文章提出了一个端到端的RAG框架,用于解决工业环境中的问题回答问题。
响应预测系统示例
- A部分:当用户提出一个有效的查询时,系统会检索相关的文档,并从中生成适当的响应供代理选择。代理可以直接使用生成的响应,点击即可。
- B部分:对于超出领域范围的查询,系统会引导用户提出相关的问题。
传统客服场景与文章提出系统对比
- A部分:手动搜索相关文档来响应查询。
- B部分:基于BERT的系统,该系统从给定查询中提取相关的问答对,并为代理提供响应建议。
- C部分:提出的RAG LLM系统,其中LLM检索相关知识库文章,并根据查询和检索到的文章生成答案。
方法
端到端的RAG框架
数据集
构建一个包含领域特定问题和对应答案的知识库文档的数据集。然后,利用LLM从公司文档中生成相关的问题-答案对,并从开源数据集中补充域外问题和答案。
RAG
RAG架构的主要组件包括检索器和生成器。检索器从知识库中检索相关文档,生成器则利用这些文档和历史聊天记录生成响应建议。
-
检索器
向量嵌入:使用不同的嵌入模型来表示查询和文档,以便计算它们之间的相似度。比较了Universal Sentence Encoder (USE)、Google的Vertex AI嵌入模型和SBERT-all-mpnet-base-v2等嵌入策略。实验结果表明,Vertex AI-textembedding-gecko@001(768)嵌入与ScaNN检索结合效果最佳。
检索策略:测试了多种检索算法,包括ScaNN和KNN HNSW。ScaNN因其在大规模数据集上的高效处理和高检索准确性而被选用。设置了不同的检索阈值,以确保不相关的文档不会被检索并传递给生成器。
-
生成器
LLM使用PaLM2基础模型(text-bison, text-unicorn)进行文本生成,确保在企业许可和安全要求方面具有优势。
实验
ScaNN检索器在大多数情况下优于KNN HNSW,Vertex AI嵌入模型在捕捉复杂语义关系方面表现最佳。设置检索阈值为0.7可以有效减少不必要的文档检索,提高响应生成效率。
RAG LLM在准确性、幻觉率和缺失率方面均优于现有的BERT模型。
总结
这篇文章主要介绍了RAG在传统智能客服场景的一个应用,减轻人工客服的工作负担。结果表明,检索相关知识库文档并利用LLMs生成响应比BERT响应更具上下文相关性和准确性。
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/1ee57cdf97433888c0c25e491d2ed94d.png)
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。