探索LangChain的DirectoryLoader：高效加载文件系统文档

tt_jishu

于 2024-10-03 22:09:53 发布

阅读量272

点赞数 1

文章标签： langchain python

本文链接：https://blog.csdn.net/tt_jishu/article/details/142696997

版权

# 探索LangChain的DirectoryLoader：高效加载文件系统文档

## 引言

在进行自然语言处理和机器学习任务时，管理和加载大量文档往往是一项复杂的工程。LangChain的`DirectoryLoader`提供了一种高效的方法来从文件系统读取文件，并将其转换为LangChain文档对象。本篇文章将详细介绍如何使用`DirectoryLoader`加载文件，包括使用通配符、多线程、定制加载器类以及处理解码错误的技巧。

## 主要内容

### 1. 文件系统加载与通配符模式

`DirectoryLoader`可以轻松地从指定目录加载文件。通过使用`glob`参数，我们可以定义通配符模式来筛选文件。例如，只加载Markdown文件：

```python
from langchain_community.document_loaders import DirectoryLoader

# 使用API代理服务提高访问稳定性
loader = DirectoryLoader("../", glob="**/*.md")
docs = loader.load()
print(f"加载的文档数量: {len(docs)}")

2. 多线程文件I/O

为提高文件加载性能，可以使用多线程。设置use_multithreading参数为True即可：

loader = DirectoryLoader("../", glob="**/*.md", use_multithreading=True)
docs = loader.load()

3. 使用自定义加载器类

LangChain支持多种文件格式的解析。默认情况下使用UnstructuredLoader，但我们可以通过指定loader_cls参数来更改加载器。以下是使用TextLoader的示例：

from langchain_community.document_loaders import TextLoader

loader = DirectoryLoader("../", glob="**/*.md", loader_cls=TextLoader)
docs = loader.load()

4. 处理解码错误

在加载文档时，可能会遇到编码问题。默认情况下，DirectoryLoader会抛出错误。我们可以选择使用silent_errors参数忽略这些错误，或使用autodetect_encoding自动检测编码：

text_loader_kwargs = {"autodetect_encoding": True}
loader = DirectoryLoader(
    "../../../../libs/langchain/tests/unit_tests/examples/",
    glob="**/*.txt",
    loader_cls=TextLoader,
    loader_kwargs=text_loader_kwargs
)
docs = loader.load()

代码示例

以下是一个完整的示例，展示了如何使用DirectoryLoader加载Markdown文件、展示进度条并处理解码错误：

from langchain_community.document_loaders import DirectoryLoader, TextLoader
from tqdm import tqdm

path = "../"
loader = DirectoryLoader(
    path,
    glob="**/*.md",
    use_multithreading=True,
    show_progress=True
)
docs = loader.load()
print(f"成功加载的文档数: {len(docs)}")