Langchain Streamlit AI系列之 使用 Google 的 Gemma-2b-it、LangChain 和 Streamlit 与 PDF 文档对话(教程含源码)

介绍

大型语言模型 (LLM) 擅长将有关世界的知识压缩为数十亿个参数。

然而，LLM 有两个主要限制：它们只拥有截至上一次训练迭代时的最新知识。当被问到特定问题时，它们有时会编造知识（产生幻觉）。

使用 RAG 技术，我们可以让预先训练过的 LLM 在回答我们的问题时访问非常具体的信息作为附加背景。

在本文中，我将介绍使用 Hugging Face 变换器库、LangChain 和 Faiss 矢量数据库实现具有附加 RAG 功能的 Google LLM Gemma 的理论和实践。

下图显示了RAG管道的概览，我们将逐步实现。

系列文章

• 《LangChain + Streamlit：在几分钟内创建基于语言模型的大型演示所需的技术堆栈》 权重1，本地类、Streamlit类、LangChain类

• 《使用本地 Llama 2 模型和向量数据库建立私有检索增强生成 (RAG) 系统 LangChain》权重1，llama类、本地类、langchai