如何创建自定义文档加载器：深入解析AI应用中的数据处理-CSDN博客

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142536488

引言

在构建基于大语言模型（LLM）的应用时，通常需要从数据库或文件（如PDF）中提取数据并转换成LLM可利用的格式。这通常涉及创建文档对象，封装提取的文本和元数据，如作者姓名或出版日期。在LangChain中，可以通过加载文档对象，将其用于生成模型提示，或者索引到向量存储中以供将来检索。

本文将介绍如何创建自定义文档加载器和文件解析逻辑，及如何应对常见挑战。

主要内容

标准文档加载器

标准文档加载器通过子类化BaseLoader实现，提供了一种加载文档的标准接口。

接口方法

lazy_load: 懒加载文档，适合生产环境。
alazy_load: 异步懒加载文档。
load: 加载所有文档到内存中，适合原型或交互式工作。

from typing import AsyncIterator, Iterator
from langchain_core.document_loaders import BaseLoader
from langchain_core.documents import Document

class CustomDocumentLoader(BaseLoader):
    """逐行读取文件的文档加载器示例。"""
    def __init__(self, file_path: str) -> None:
        self.file_path = file_path

    def lazy_load(self) -> Iterator[Document]:
        with open(self.file_path, encoding="utf-8") as f:
            line_number = 0
            for line in f:
                yield Document(
                    page_content=line,
                    metadata={"line_number": line_number, "source": self.file_path},
                )
                line_number += 1

    async def alazy_load(self,) -> AsyncIterator[Document]:
        import aiofiles
        async with aiofiles.open(self.file_path, encoding="utf-8") as f:
            line_number = 0
            async for line in f:
                yield Document(
                    page_content=line,
                    metadata={"line_number": line_number, "source": self.file_path},
                )
                line_number += 1

文件解析

文件解析器通过子类化BaseBlobParser实现，将blob数据解析为文档对象。

from langchain_core.document_loaders import BaseBlobParser, Blob

class MyParser(BaseBlobParser):
    def lazy_parse(self, blob: Blob) -> Iterator[Document]:
        line_number = 0
        with blob.as_bytes_io() as f:
            for line in f:
                line_number += 1
                yield Document(
                    page_content=line,
                    metadata={"line_number": line_number, "source": blob.source},
                )

代码示例

创建并测试自定义文档加载器：

# 创建测试文件
with open("./meow.txt", "w", encoding="utf-8") as f:
    quality_content = "meow meow🐱 \n meow meow🐱 \n meow😻😻"
    f.write(quality_content)

loader = CustomDocumentLoader("./meow.txt")

# 测试lazy_load接口
for doc in loader.lazy_load():
    print(doc)

# 测试alazy_load接口
async for doc in loader.alazy_load():
    print(doc)