检索增强生成 (RAG) 探索之路的血泪史及曙光

作者：小虫 飞飞@知乎（腾讯科技 ）

2023.11.02，受@腾讯技术工程

 邀请做线上直播，聊了一下在实际业务落地 RAG 过程中，走过的弯路和经验。核心内容是：基于 embedding search的 RAG 方法在实际应用中存在诸多短板，本视频举出大量实际案例说明这些缺陷，并提出了多种行之有效的解决方案。

分享大纲

1. 广告词引发的“血案”：5 分钟搭建问答系统

   1. 大模型时代催生了：问答系统的重构

   2. 在传统问答模型的基础上，LLM 带来了哪些新的价值，新的影响

   3. 通用大模型在垂直领域的局限，进而介绍 RAG 的能力

2. Embedding 召回方案及局限性分析

   1. 朴素的 RAG 实现，通过向量召回的诸多局限，比如：不精确、粒度粗、不支持条件查询/统计、不能替代信息提取等。

   2. 使用 LLM 做信息提取的几种方案和弊端。

3. 意图识别优化：传统NLP不是“破落户”

   1. 基于词性标注和成分句法分析（Constituency Parsing、CON），解决并列关系的多实体、多条件提取问题。

   2. 意图识别的重要性

   3. 意图识别涉及的意图分类和槽位填充的解决方案。涉及：rule-based 、 BERT fine-tuning，DIET 等。

   4. 上下文补全的解决方案

   5. 复杂多轮对话中，如何与用户交互直到其补全所有信息。

4. 检索优化：从向量到关系

   1. 知识库召回其实不仅仅是 vector store，还可以使用关系型数据库和图数据库

   2. vector store 使用 embedding 召回的上下文补全解决方案

   3. 关系型数据的查询方案：小型数据基于 pandas dataframe，大型数据基于 sql

   4. 图数据库应用：主要解决多度关系和推荐问题。

5. 未来也许是 AI Agent？

   1. 提出我们当前 AI Agent 的涉及思想

   2. 简单示例

内容摘要

——The  End——

分享

收藏

点赞

在看