LlamaIndex 实现 RAG（二）- 文档解析

RAG 中最关键的就是知识库构建，知识库主要的作用就是为大模型提供内企业内部知识或者新的知识。在 RAG 中，知识存储通常是把文档进行拆分为块 (Chunk)，并通过 Embedding 模型将文档块转为向量型数据，并将向量数据进行保存，为后续的搜索提供数据。文档通常分为多种类型，比较常见的文档类型包括 Work、PDF、Markdown，对于 Excel 这种表格型文档，也可以转为 Markdown 类型的文档，本文将使用 LlamaIndex 对不同文档进行切分、向量化和并进行搜索。

文档切分

先来看上一篇文章中所切分的 PDF 文档，文档总共13 页，分析一下 LlamaIndex 的切分结果。

    # 读取 "./data" 目录中的数据并加载为文档对象
    documents = SimpleDirectoryReader("./data").load_data()

文件被解析成了 13 个文档，每页转成了一个文档

PDF 转换代码如下

LamaIndex 中 Document 都是 Node，对于文字类型的节点，节点类型为 TextNode，对于图片，对应的节点类型为 ImageNode，ImageNode 用于多模态，语意搜索时会检查每个节点的向量，如下图所示。

接下来，需要将长文档进行切分，要对上文所讲的 13 页进行进一步的切分，并转为向量。下面这一行代码，包含了将文档进行切分，并通过 Embedding Model 转为向量的逻辑。

vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding)

Node 切分在 LlamaIndex 中，默认通过 SentenceSplitter 进行切分，切分参数如下1024 Token 进行切分，20 个重叠，重叠可以认为就是个移动的窗口。以下配置为切分的默认配置项：

DEFAULT_CHUNK_SIZE = 1024 # tokens
DEFAULT_CHUNK_OVERLAP = 20 # tokens
DEFAULT_SIMILARITY_TOP_K = 2
DEFAULT_IMAGE_SIMILARITY_TOP_K = 2

从配置项可知，文档是按照 1000 Token进行切分的，1000 个Token 肯定是超过一页了，文档有 13 页，如果按1000 Token 来拆分，最后 Node 也是 13 个。下图中是 LlamaIndex 进行句子切分的类：

切分完成之后，会通过 Embedding 将 Node 转为向量。

如果我们想采用更细力度的策略进行拆分呢？在 LlamaIndex 中，可以自定义文档切分方式，例如我们想按 100 Token 进行切分，可以自定义文档切分的策略，chunk_size=100，代码如下：

    vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding, 
                                                   transformations=[SentenceSplitter(chunk_size=100, chunk_overlap=20)],)

ChunkSize 不易偏小，太小有可能获取的上下文数据不完整最终模型无法给出更好的回答。

Word 文档

解析 Word 文档，Word 从处理方式来说和 PDF 相似，只是底层的解析器用到的不一样，从下面代码中可以看到 LlamaIndex 对于不同类型的文档使用的解析器。

        from llama_index.readers.file import (
            DocxReader,
            EpubReader,
            HWPReader,
            ImageReader,
            IPYNBReader,
            MarkdownReader,
            MboxReader,
            PandasCSVReader,
            PandasExcelReader,
            PDFReader,
            PptxReader,
            VideoAudioReader,
        )  # pants: no-infer-dep
        
    default_file_reader_cls: Dict[str, Type[BaseReader]] = {
        ".hwp": HWPReader,
        ".pdf": PDFReader,
        ".docx": DocxReader,
        ".pptx": PptxReader,
        ".ppt": PptxReader,
        ".pptm": PptxReader,
        ".gif": ImageReader,
        ".jpg": ImageReader,
        ".png": ImageReader,
        ".jpeg": ImageReader,
        ".webp": ImageReader,
        ".mp3": VideoAudioReader,
        ".mp4": VideoAudioReader,
        ".csv": PandasCSVReader,
        ".epub": EpubReader,
        ".md": MarkdownReader,
        ".mbox": MboxReader,
        ".ipynb": IPYNBReader,
        ".xls": PandasExcelReader,
        ".xlsx": PandasExcelReader,
    }

Word 解析代码如下:

def get_doc_index():
    '''
    解析 words
    '''
    # 创建 OllamaEmbedding 实例，用于指定嵌入模型和服务的基本 URL
    ollama_embedding = OllamaEmbedding(
        model_name="nomic-embed-text",
        base_url="http://10.91.3.116:11434"
    )

    # 读取 "./data" 目录中的数据并加载为文档对象
    documents = SimpleDirectoryReader(input_files=['./docs/a1.docx']).load_data()


    # 从文档中创建 VectorStoreIndex，并使用 OllamaEmbedding 作为嵌入模型
    vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding, 
                                                   transformations=[SentenceSplitter(chunk_size=1000, chunk_overlap=20)],)
    vector_index.set_index_id("vector_index")  # 设置索引 ID
    vector_index.storage_context.persist("./storage")  # 将索引持久化到 "./storage"
    return vector_index

Html 页面

解析 Html 页面，通过 Html 解析器，将 Html 转成 Document，从 Document 转为 Node 代码同 PDF。LlamaIndex 中集成多种解析器，本事使用的是 FireCrawlWebReader，很多网页都是 SPA 实现的，需要 JS 运行才能获取到 HTML 代码，所以需要第三方的 API，也可以自行HeadLess Chrome 去实现。 Html 解析完成之后，需要把文档存下来，从而不需要每次都做一次解析。

代码如下：

# 解析网页保存
def get_webpage_index():

    docstore = SimpleDocumentStore()

    
    firecrawl_reader = FireCrawlWebReader(
        api_key=os.environ.get("FC_API_KEY"),  # Replace with your actual API key from https://www.firecrawl.dev/
        mode="scrape"
    )
    documents = firecrawl_reader.load_data(url="https://www.joinquant.com/help/api/help#name:Stock")

    docstore.add_documents(documents)
    docstore.persist(persist_path="./docstorage/docstore") 
    print(documents)

# 创建网页索引
def load_doc():
    store  = SimpleDocumentStore.from_persist_path("./docstorage/docstore.json")
    doc = [store.get_document("be3bd9b5-7099-4143-807e-ca6e39ba3cb0")]
    return doc

总结

本文对 LlamaIndex 中文档的索引进行了介绍，包括不同文档使用不同解析方式，文档的处理在 RAG 中起到了关键作用，对文档的分块策略也会直接影响到 RAG 的搜索效果，在落地开发中要根据自己的业务场景进行设计。