（20-3-01）基于《哈利·波特》系列图书内容的问答系统：LangChain多文档检索器(01)加载文档+文本分割+创建嵌入+加载向量数据库

8.5  基于LangChain的多文档检索器

在本节的内容中，将准备好文本文档供自然语言处理（NLP）任务使用，基于LangChain实现多文档检索器。具体来说，分别实现加载、分割、创建嵌入（embeddings）等操作，并将这些嵌入保存到向量存储（Vector Store）中。本步骤是NLP项目中常见的文档处理步骤，特别是在构建聊天机器人、问答系统或文本检索系统时。通过这种方式，可以将非结构化的文本数据转换为机器可理解的格式，并用于执行复杂的语言任务。

8.5.1  加载文档

使用LangChain中的类DirectoryLoader加载指定目录中的PDF文件，以便进行后续的文本提取、嵌入生成或相似性搜索等操作。

loader = DirectoryLoader(
    CFG.PDFs_path,
    glob="./*.pdf",
    loader_cls=PyPDFLoader,
    show_progress=True,
    use_multithreading=Tr