RAG 中最关键的就是知识库构建,知识库主要的作用就是为大模型提供内企业内部知识或者新的知识。在 RAG 中,知识存储通常是把文档进行拆分为块 (Chunk),并通过 Embedding 模型将文档块转为向量型数据,并将向量数据进行保存,为后续的搜索提供数据。文档通常分为多种类型,比较常见的文档类型包括 Work、PDF、Markdown,对于 Excel 这种表格型文档,也可以转为 Markdown 类型的文档,本文将使用 LlamaIndex 对不同文档进行切分、向量化和并进行搜索。
文档切分
先来看上一篇文章中所切分的 PDF 文档,文档总共13 页,分析一下 LlamaIndex 的切分结果。
# 读取 "./data" 目录中的数据并加载为文档对象
documents = SimpleDirectoryReader("./data").load_data()
文件被解析成了 13 个文档,每页转成了一个文档
PDF 转换代码如下
LamaIndex 中 Document 都是 Node,对于文字类型的节点,节点类型为 TextNode,对于图片,对应的节点类型为 ImageNode,ImageNode 用于多模态,语意搜索时会检查每个节点的向量,如下图所示。
接下来,需要将长文档进行切分,要对上文所讲的 13 页进行进一步的切分,并转为向量。下面这一行代码,包含了将文档进行切分,并通过 Embedding Model 转为向量的逻辑。
vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding)
Node 切分在 LlamaIndex 中,默认通过 SentenceSplitter 进行切分,切分参数如下1024 Token 进行切分,20 个重叠,重叠可以认为就是个移动的窗口。以下配置为切分的默认配置项:
DEFAULT_CHUNK_SIZE = 1024 # tokens
DEFAULT_CHUNK_OVERLAP = 20 # tokens
DEFAULT_SIMILARITY_TOP_K = 2
DEFAULT_IMAGE_SIMILARITY_TOP_K = 2
从配置项可知,文档是按照 1000 Token进行切分的,1000 个Token 肯定是超过一页了,文档有 13 页,如果按1000 Token 来拆分,最后 Node 也是 13 个。下图中是 LlamaIndex 进行句子切分的类:
切分完成之后,会通过 Embedding 将 Node 转为向量。
如果我们想采用更细力度的策略进行拆分呢?在 LlamaIndex 中,可以自定义文档切分方式,例如我们想按 100 Token 进行切分,可以自定义文档切分的策略,chunk_size=100,代码如下:
vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding,
transformations=[SentenceSplitter(chunk_size=100, chunk_overlap=20)],)
ChunkSize 不易偏小,太小有可能获取的上下文数据不完整最终模型无法给出更好的回答。
Word 文档
解析 Word 文档,Word 从处理方式来说和 PDF 相似,只是底层的解析器用到的不一样,从下面代码中可以看到 LlamaIndex 对于不同类型的文档使用的解析器。
from llama_index.readers.file import (
DocxReader,
EpubReader,
HWPReader,
ImageReader,
IPYNBReader,
MarkdownReader,
MboxReader,
PandasCSVReader,
PandasExcelReader,
PDFReader,
PptxReader,
VideoAudioReader,
) # pants: no-infer-dep
default_file_reader_cls: Dict[str, Type[BaseReader]] = {
".hwp": HWPReader,
".pdf": PDFReader,
".docx": DocxReader,
".pptx": PptxReader,
".ppt": PptxReader,
".pptm": PptxReader,
".gif": ImageReader,
".jpg": ImageReader,
".png": ImageReader,
".jpeg": ImageReader,
".webp": ImageReader,
".mp3": VideoAudioReader,
".mp4": VideoAudioReader,
".csv": PandasCSVReader,
".epub": EpubReader,
".md": MarkdownReader,
".mbox": MboxReader,
".ipynb": IPYNBReader,
".xls": PandasExcelReader,
".xlsx": PandasExcelReader,
}
Word 解析代码如下:
def get_doc_index():
'''
解析 words
'''
# 创建 OllamaEmbedding 实例,用于指定嵌入模型和服务的基本 URL
ollama_embedding = OllamaEmbedding(
model_name="nomic-embed-text",
base_url="http://10.91.3.116:11434"
)
# 读取 "./data" 目录中的数据并加载为文档对象
documents = SimpleDirectoryReader(input_files=['./docs/a1.docx']).load_data()
# 从文档中创建 VectorStoreIndex,并使用 OllamaEmbedding 作为嵌入模型
vector_index = VectorStoreIndex.from_documents(documents, embed_model=ollama_embedding,
transformations=[SentenceSplitter(chunk_size=1000, chunk_overlap=20)],)
vector_index.set_index_id("vector_index") # 设置索引 ID
vector_index.storage_context.persist("./storage") # 将索引持久化到 "./storage"
return vector_index
Html 页面
解析 Html 页面,通过 Html 解析器,将 Html 转成 Document,从 Document 转为 Node 代码同 PDF。LlamaIndex 中集成多种解析器,本事使用的是 FireCrawlWebReader,很多网页都是 SPA 实现的,需要 JS 运行才能获取到 HTML 代码,所以需要第三方的 API,也可以自行HeadLess Chrome 去实现。 Html 解析完成之后,需要把文档存下来,从而不需要每次都做一次解析。
代码如下:
# 解析网页保存
def get_webpage_index():
docstore = SimpleDocumentStore()
firecrawl_reader = FireCrawlWebReader(
api_key=os.environ.get("FC_API_KEY"), # Replace with your actual API key from https://www.firecrawl.dev/
mode="scrape"
)
documents = firecrawl_reader.load_data(url="https://www.joinquant.com/help/api/help#name:Stock")
docstore.add_documents(documents)
docstore.persist(persist_path="./docstorage/docstore")
print(documents)
# 创建网页索引
def load_doc():
store = SimpleDocumentStore.from_persist_path("./docstorage/docstore.json")
doc = [store.get_document("be3bd9b5-7099-4143-807e-ca6e39ba3cb0")]
return doc
总结
本文对 LlamaIndex 中文档的索引进行了介绍,包括不同文档使用不同解析方式,文档的处理在 RAG 中起到了关键作用,对文档的分块策略也会直接影响到 RAG 的搜索效果,在落地开发中要根据自己的业务场景进行设计。