【大比武08】利用RAG技术构建档案智能问答系统

关注我们 - 数字罗塞塔计划 - 

# 大比武2024

本篇是参加“华夏伟业”杯第二届档案信息化公司业务与技术实力大比武（简称“大比武 2024”）的投稿文章，来自燕山大学档案馆（校史馆）的实际项目，由河北科怡科技开发有限公司联合南京兰征信息科技有限公司与燕山大学共同研究实施。除了河北科怡的宁飞之外，燕山大学档案馆的柯铁军对本文也有重要贡献。

在数字化时代背景下，随着ChatGPT的出现，档案管理正经历着一场由数字化到智能化的革命。RAG（Retrieval-Augmented Generation，检索增强生成）技术和LLM（Large Language Model，大语言模型）的结合，为档案领域的智慧应用场景开拓提供了新的动力。

一、RAG技术概述

Retrieval-Augmented Generation

RAG技术的提出是为了解决预训练语言模型在处理知识密集型NLP（Natural Language Processing，自然语言处理）任务时面临的几个关键挑战：

1、知识存储有限

尽管LLM能够存储大量知识，但毕竟样本数据依然有限，只能记住训练数据中的信息。如果遇到模型训练时未见过的知识点，模型可能无法准确回答。

2、知识更新困难

随着时间推移，外部知识在不断更新和变化。但预训练模型完成训练，它的知识就固定了，无法轻易更新。要更新这些模型的知识，通常需要重新进行大规模的预训练，既耗时又耗资源。

3、事实性和准确度

在生成式任务中，如问答或文章生成，模型可能会生成看似流畅但实际上不准确或不真实的内容即幻觉问题，因为它们缺乏对特定事实的直接访问。

4、解释性和透明度

用户通常希望理解模型的决策过程，特别是在涉及事实信息时。纯粹的预训练模型通常很难提供生成决策的依据或解释。