IncarnaMind:支持多文档对话式聊天
原创 GitHubStore GitHubStore
收录于合集#AI应用73个
项目简介
IncarnaMind 使您能够使用 GPT(架构概述)等大型语言模型 (LLM) 与您的个人文档(PDF、TXT)进行聊天。虽然 OpenAI 最近推出了针对 GPT 模型的微调 API,但它无法让基础预训练模型学习新数据,而且响应可能容易产生事实幻觉。利用我们的滑动窗口分块机制和 Emsemble Retriever,可以高效查询地面实况文档中的细粒度和粗粒度信息,以增强 LLM。
由 Langchain 和 Chroma DB 提供支持。
解决的挑战
-
固定分块:我们的滑动窗口分块技术在时间、计算能力和性能方面提供了平衡的解决方案。
-
精度与语义:小块可以实现细粒度的信息检索,而大块则专注于粗粒度的数据。我们利用基于嵌入的方法和 BM25 方法来实现混合搜索方法。
-
单文档限制:IncarnaMind 支持多文档查询,打破了一次一个文档的障碍。
-
稳定性:我们使用Chains代替Agent来确保不同L