大模型知识库架构设计和落地困境（非常详细）零基础入门到精通，收藏这一篇就够了

最新推荐文章于 2024-08-30 10:43:09 发布

网络安全大白

最新推荐文章于 2024-08-30 10:43:09 发布

阅读量945

点赞数 10

分类专栏：人工智能科技程序员文章标签： web安全网络安全

本文链接：https://blog.csdn.net/Python_paipai/article/details/140687750

版权

程序员同时被 3 个专栏收录

532 篇文章 12 订阅

订阅专栏

科技

352 篇文章 0 订阅

订阅专栏

人工智能

54 篇文章 0 订阅

订阅专栏

**—1**__—

大模型知识库架构设计

以下这张图可能许多同学都见过，它展示了一个文档处理流程：首先，将PDF、PPT、Word 等格式的文档进行分割，然后转换为嵌入（Embedding）形式，并存储到向量数据库里。在问答环节，系统会检索并提取与问题相关的文档块，接着构建一个提示词（Prompt），将其输入到一个大语言模型中，最终由模型生成相应的问答内容。

以上架构本质上解决两大核心问题：如何突破传统 tokens 数量的限制，以及如何更精准地提炼出问题的本质。

📏 Text Splitter：将长文本分解为易于管理的小段或碎片的算法。它的目标是将文本分解成可单独处理的小块，这在处理庞大的文档或数据集时尤为重要。

🔬 Embedding：这个过程可以简单理解为数据的向量化。无论是哪种维度的数据，最终都需要通过归一化和自关联的步骤来转化为向量。目前 ChatGPT 的 text-embedding-ada-002 模型表现尤为突出。实际上，ChatGPT 之所以能在众多大模型中脱颖而出，很大程度上得益于其卓越的 Embedding 结果。

💾 VectorStore：存放那些已经向量化数据的向量数据库。市面上许多向量数据库都能够胜任这项工作，比如：Milvus、Pinecone、腾讯云向量数据库、Redis 等，它们不仅能够存储数据，还能支持语义计算，比如：欧式距离、余弦公式等操作。

知识库架构原理很简单，如果知识库库使用用户数少，比如：公司内部员工使用，在一些基础问题上，它还能回答的差不多，但是在复杂问题上，还没有看到一个非常厉害的知识库出现！

**—2**__—

大模型知识库的落地困境

**首先，我们面临的第一个挑战是：**在进行文档向量化的过程中，文档中常常包含大量图片。这些图片在传递语义信息方面往往更为丰富。但在图片处理过程中，它们可能仅仅被转换成一个简单的链接。更有甚者，一些文档还包含视频内容，这进一步增加了处理的复杂性。

因此，文档处理不能仅仅依赖传统的自然语言处理（NLP）技术，还需要能够支持多模态信息的整合和分析。目前，似乎还没有看到哪个系统能够完全实现这样的能力。正如下图所示，它就是一个典型的例子。