4-Langchain 系列-使用 Langchain Chromadb 和 FAISS 开始使用 RAG 管道

LangChain 系列：RAG 管道详解本系列视频将深入探讨 RAG（Retrieval Augmented Generation，检索增强生成）管道，这是利用 LLM 模型解决实际问题的关键技术之一，也是当前企业应用中非常重要的技能。
RAG 的核心功能
：从各种数据源（如 PDF、MD、TXT、数据库等）中检索信息并生成相关内容。
视频内容
：

从基础到高级
：完整实现 RAG 管道，涵盖各个环节。

架构解析
：深入了解 RAG 管道的整体架构。

实践操作
：通过大量实例，加深对 RAG 管道的理解。
RAG 管道主要组件
：1.数据源加载 (Data Ingestion)
：
将各种类型的文件（PDF、MD、TXT、Excel、数据库等）加载到系统中。
LangChain 提供丰富的工具，支持多种数据加载方式。
本视频将实现数据加载步骤，从数据源到向量存储。
2.数据处理 (Load, Transform, Embed)
：

加载 (Load)
：从数据源读取数据。

转换 (Transform)
：对数据进行特征工程，例如将数据分割成更小的片段。

嵌入 (Embed)
：将数据转换为向量表示，以便进行检索。
3.数据分割 (Chunking)
：
将数据分割成较小的片段，以适应 LLM 模型的上下文大小限制。
每个片段包含一定数量的文字，方便模型进行处理。
视频将通过实际操作演示
：
如何将各种数据源加载到系统中。
如何对数据进行分割和转换。
如何将数据嵌入到向量存储中。
总之，本系列视频将帮助你全面掌握 RAG 管道，并能够将它应用到实际项目中，解决各种信息检索和内容生成问题。

RAG 是一种通过额外数据增强 LLM 知识的技术。LLM 能够对广泛的主题进行推理，但它们的知识仅限于它们在训练时使用到的特定时间点之前的公开数据。如果你想构建能够对私人数据或模型截止日期后引入的数据进行推理的 AI 应用程序，你需要用模型所需的特定信息来增强模型的知识。将适当的信息引入模型提示并将其插入模型提示的过程被称为检索增强生成（RAG）。github: https://github.com/krishnaik06/Updated-Langchain