8.5 基于LangChain的多文档检索器
在本节的内容中,将准备好文本文档供自然语言处理(NLP)任务使用,基于LangChain实现多文档检索器。具体来说,分别实现加载、分割、创建嵌入(embeddings)等操作,并将这些嵌入保存到向量存储(Vector Store)中。本步骤是NLP项目中常见的文档处理步骤,特别是在构建聊天机器人、问答系统或文本检索系统时。通过这种方式,可以将非结构化的文本数据转换为机器可理解的格式,并用于执行复杂的语言任务。
8.5.1 加载文档
使用LangChain中的类DirectoryLoader加载指定目录中的PDF文件,以便进行后续的文本提取、嵌入生成或相似性搜索等操作。
loader = DirectoryLoader(
CFG.PDFs_path,
glob="./*.pdf",
loader_cls=PyPDFLoader,
show_progress=True,
use_multithreading=Tr