使用AI大模型搭建档案知识助理

最新推荐文章于 2024-10-20 21:16:19 发布

程序员笑武

最新推荐文章于 2024-10-20 21:16:19 发布

阅读量1k

点赞数 9

文章标签：人工智能面试职场和发展 llama 深度学习

本文链接：https://blog.csdn.net/m0_59164304/article/details/141268548

版权

自从2022年底ChatGPT发布以来，AI大模型真正进入快速发展和应用落地的阶段，在各个领域快速催生出大量的应用，总体包括“文生文”、“文生图”、“文生视频”、“文生音频”、“图生图”、“图生视频”等AIGC（Artificial Intelligence Generated Content，内容生成式人工智能）应用方向。另外在一些细分领域，也出现了很多应用大模型能力赋能生产、提质增效的应用。

在档案行业，也有很多先驱在探索大模型的应用方向，并且有一些实际行动，为我们呈现出全新的理念和应用模式。但受限于各种因素的影响，笔者认为大模型在档案收、管、存、用等基础业务层面的应用具有很强的基础设施、业务数据等壁垒，应用效果还有待实践检验。今天，我们来聊聊大模型在档案领域的一个典型应用——档案知识助理。

为什么要做档案知识助理

档案知识助理虽然没有很强很深的技术壁垒，但它很可能为我们档案从业者提供一个非常高效、友好的档案知识获取窗口，这是我们所有档案人都需要的，它具有普适性。而且也是我们档案人学习AI、应用AI的一个很好的入门方向，每个人都可以去积极尝试，搭建属于自己的知识助理。

为什么要用AI大模型来做档案知识助理

档案知识助理其实就是一个档案知识库，并借助大模型强大的的对话能力、泛化能力、学习能力、理解能力、逻辑推理能力来提供知识服务。

知识库其实并不是一个陌生的概念和产品，早在ANI（Artificial Narrow Intelligence,弱人工智能）早期，就有不少公司具备提供所谓的“智能知识库”产品和服务的能力，例如笔者曾接触过的智能客服行业，大都具备基于ANI的知识库产品。虽然目前我们还未正式进入AGI（Artificial General Intelligence，通用人工智能）时代，但基于大模型的知识库与ANI早期的智能知识库已不可同日而语了。请看下图对比：

通俗来讲，用大模型来实现知识库产品，具有以下优势：

可以直接上传双层pdf或word文档，不需要做复杂的整理；

对用户所提问题的理解能力强，可以实现多轮对话，具备更强的上下文理解能力；

在知识库之外，可以实现联网搜索，拓宽知识覆盖面；

可以将知识问答集成到第三方平台，例如微信群、飞书、钉钉等；

可以实现本地化部署，更加安全；本地部署可以对大模型做预训练和微调，更加灵活。

下面，我们就用两种方式来搭建档案知识助理，并对其进行实际效果测试。第一种是完全本地化的模式，这种模式受限于笔者硬件配置，并未做大模型的预训练和微调，而是直接使用了原生的大模型；另一种方式是使用钉钉的AI助理来搭建，这种模式属于借用第三方平台，不支持本地化部署。

搭建本地化档案知识助理

1、系统架构及搭建步骤

注：这个架构不是企业级应用架构，只适用于我们自己尝试，如果要做企业级应用，那数据库就要分布式部署，另外访问量和数据量大的话，也要做集群来提高稳定性，语言模型也需要用参数量更大的。

整个系统完全本地化部署，底层使用ollama来运行大语言模型和向量模型，上层WebUI应用使用FastGPT实现，中间层使用OneAPI来做通信，应用数据和向量化数据分别存储在MongoDB和PgSql中。如需了解具体的部署步骤，可观看以下教程：

部署完成后，FastGPT和OneAPI需要做若干配置，并导入知识库文件，才能初步实现知识问答。

2、本地化大模型的应用效果

完成上述的系统部署和初始化后，我们直接导入了一些国家标准和行业标准文件（必须是双层pdf或者word等可编辑文件，图片和普通pdf不支持）。来看看实际检索效果和原文的对比吧：

随便输入了一个问题，大模型直接给出的答案是不对的，如下图：

但在下方的知识库引用中，大模型成功匹配到了知识库文件中的内容。如下图：

笔者又同样试了其他很多问题（不超出知识库的内容范畴），并且不断调整分段长度和相关度设置，大模型给出的直接回答依然不完美；但毕竟在知识库引用中能精确匹配到答案了，总体感觉还不错。期待后续有条件的朋友能够完成模型的微调，再给大家呈现出更好的结果。

使用钉钉AI助理搭建档案知识助理

1、搭建步骤

使用钉钉AI助理搭建，就很简单了，只需要安装一个最新版本的钉钉。这个就不是本地化部署了，借助的是AI助理背后的强大底模（应该是非开源版的通义千问）。看下图，直接按步骤操作即可：

需要注意的是：按照上图步骤创建的助理，是公开的，也就是说发布后所有钉钉用户都能搜索到并使用；如果你点击步骤2后，直接在右侧分栏下方点击“创建AI助理”，那么这个助理就是面向组织内部使用的，组织外的人看不到。这两种方式会影响后面上传知识文件的方式，前者只能本地上传，后者可以选择企业组织搭建的知识库。

另外还需要配置一个简单的Prompt，用来限制大模型的输出范围。**请注意：**千万不要配置冗余的Prompt，如果你不会写，就空着，或者写一个简单的，劣质的Prompt就像画蛇添足，会极大的干扰大模型的输出。配置完成的助理，如下图所示：

2、用钉钉搭建档案知识助理的应用效果

上效果！我们问一个同样的问题，看看AI助理和本地化大模型熟优熟劣。

答案相当正确，也相当完整。而且给出了知识来源，用户点击知识来源后，可以向AI助理的所有者申请查看、下载的权限。

对比总结

第一点

钉钉AI助理无需部署，配置简单，给的直接回答更准确，而且可以查看引用的知识库原文，支持权限申请。适合于个人或中小企业日常工作简单应用。

第二点

本地化知识库，部署相对复杂，配置有难度，给的直接回答不准确，而且会有幻觉出现（这个在进行预训练和微调后，肯定会有改善）；也可以查看引用的知识库原文，匹配度总体较高，但不支持权限申请。适合于搭建企业级私有的、安全的本地知识库应用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述