自从2022年底ChatGPT发布以来,AI大模型真正进入快速发展和应用落地的阶段,在各个领域快速催生出大量的应用,总体包括“文生文”、“文生图”、“文生视频”、“文生音频”、“图生图”、“图生视频”等AIGC(Artificial Intelligence Generated Content,内容生成式人工智能)应用方向。另外在一些细分领域,也出现了很多应用大模型能力赋能生产、提质增效的应用。
在档案行业,也有很多先驱在探索大模型的应用方向,并且有一些实际行动,为我们呈现出全新的理念和应用模式。但受限于各种因素的影响,笔者认为大模型在档案收、管、存、用等基础业务层面的应用具有很强的基础设施、业务数据等壁垒,应用效果还有待实践检验。今天,我们来聊聊大模型在档案领域的一个典型应用——档案知识助理。
01
为什么要做档案知识助理
档案知识助理虽然没有很强很深的技术壁垒,但它很可能为我们档案从业者提供一个非常高效、友好的档案知识获取窗口,这是我们所有档案人都需要的,它具有普适性。而且也是我们档案人学习AI、应用AI的一个很好的入门方向,每个人都可以去积极尝试,搭建属于自己的知识助理。
02
为什么要用AI大模型来做档案知识助理
档案知识助理其实就是一个档案知识库,并借助大模型强大的的对话能力、泛化能力、学习能力、理解能力、逻辑推理能力来提供知识服务。
知识库其实并不是一个陌生的概念和产品,早在ANI(Artificial Narrow Intelligence,弱人工智能)早期,就有不少公司具备提供所谓的“智能知识库”产品和服务的能力,例如笔者曾接触过的智能客服行业,大都具备基于ANI的知识库产品。虽然目前我们还未正式进入AGI(Artificial General Intelligence,通用人工智能)时代,但基于大模型的知识库与ANI早期的智能知识库已不可同日而语了。请看下图对比:
通俗来讲,用大模型来实现知识库产品,具有以下优势:
可以直接上传双层pdf或word文档,不需要做复杂的整理;
对用户所提问题的理解能力强,可以实现多轮对话,具备更强的上下文理解能力;
在知识库之外,可以实现联网搜索,拓宽知识覆盖面;
可以将知识问答集成到第三方平台,例如微信群、飞书、钉钉等;
可以实现本地化部署,更加安全;本地部署可以对大模型做预训练和微调,更加灵活。
下面,我们就用两种方式来搭建档案知识助理,并对其进行实际效果测试。第一种是完全本地化的模式,这种模式受限于笔者硬件配置,并未做大模型的预训练和微调,而是直接使用了原生的大模型;另一种方式是使用钉钉的AI助理来搭建,这种模式属于借用第三方平台,不支持本地化部署。
03
搭建本地化档案知识助理
1、系统架构及搭建步骤
注:这个架构不是企业级应用架构,只适用于我们自己尝试,如果要做企业级应用,那数据库就要分布式部署,另外访问量和数据量大的话,也要做集群来提高稳定性,语言模型也需要用参数量更大的。
整个系统完全本地化部署,底层使用ollama来运行大语言模型和向量模型,上层WebUI应用使用FastGPT实现,中间层使用OneAPI来做通信,应用数据和向量化数据分别存储在MongoDB和PgSql中。
部署完成后,FastGPT和OneAPI需要做若干配置,并导入知识库文件,才能初步实现知识问答。
2、本地化大模型的应用效果
完成上述的系统部署和初始化后,我们直接导入了一些国家标准和行业标准文件(必须是双层pdf或者word等可编辑文件,图片和普通pdf不支持)。来看看实际检索效果和原文的对比吧:
随便输入了一个问题,大模型直接给出的答案是不对的,如下图:
但在下方的知识库引用中,大模型成功匹配到了知识库文件中的内容。如下图:
笔者又同样试了其他很多问题(不超出知识库的内容范畴),并且不断调整分段长度和相关度设置,大模型给出的直接回答依然不完美;但毕竟在知识库引用中能精确匹配到答案了,总体感觉还不错。期待后续有条件的朋友能够完成模型的微调,再给大家呈现出更好的结果。
04
使用钉钉AI助理搭建档案知识助理
1、搭建步骤
使用钉钉AI助理搭建,就很简单了,只需要安装一个最新版本的钉钉。这个就不是本地化部署了,借助的是AI助理背后的强大底模(应该是非开源版的通义千问)。看下图,直接按步骤操作即可:
**需要注意的是:**按照上图步骤创建的助理,是公开的,也就是说发布后所有钉钉用户都能搜索到并使用;如果你点击步骤2后,直接在右侧分栏下方点击“创建AI助理”,那么这个助理就是面向组织内部使用的,组织外的人看不到。这两种方式会影响后面上传知识文件的方式,前者只能本地上传,后者可以选择企业组织搭建的知识库。
另外还需要配置一个简单的Prompt,用来限制大模型的输出范围。**请注意:**千万不要配置冗余的Prompt,如果你不会写,就空着,或者写一个简单的,劣质的Prompt就像画蛇添足,会极大的干扰大模型的输出。配置完成的助理,如下图所示:
2、用钉钉搭建档案知识助理的应用效果
上效果!我们问一个同样的问题,看看AI助理和本地化大模型熟优熟劣。
答案相当正确,也相当完整。而且给出了知识来源,用户点击知识来源后,可以向AI助理的所有者申请查看、下载的权限。
05
对比总结
第一点
钉钉AI助理无需部署,配置简单,给的直接回答更准确,而且可以查看引用的知识库原文,支持权限申请。适合于个人或中小企业日常工作简单应用。
第二点
本地化知识库,部署相对复杂,配置有难度,给的直接回答不准确,而且会有幻觉出现(这个在进行预训练和微调后,肯定会有改善);也可以查看引用的知识库原文,匹配度总体较高,但不支持权限申请。适合于搭建企业级私有的、安全的本地知识库应用。
如何学习大模型
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。
![](https://img-blog.csdnimg.cn/img_convert/6063252445d430bfca3fbcbed234bac0.png)
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。