LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案

LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案

1.引言

随着今年上半年 ChatGPT 的迅速出圈，引爆了 AI 行业变革，大模型成为新的风口。近期伴随着各大厂商和科研机构更多大模型的开源（其中中文大模型的也越来越多），已然有井喷之势，基于大模型的应用场景被更多的从业者关注。更多参数较小且部署和微调成本较小的大模型，让更多的开发者看到了无数的可能性并可以付诸于行动。在大模型带来的需求井喷之下，如何在不同行业落地行业专属大模型及相关解决方案，以下就介绍一下针对大模型行业落地和试点做的一些工程化实践工作。

针对大语言模型（Large Language Model，LLM）的落地实践，团队在之前的系列ATA内容中，分别从系统工程实现侧和模型调优侧，对行业专属大模型的全流程落地技术方案，以及大模型的Prompt调优和RLHF优化，进行了较为系统地总结和实践。

2.技术方案

2.1、系统流程

在大模型纷繁复杂的众多应用场景中，选取来自日常项目服务的政企客户最普遍的一个需求，即知识问答。基于传统信息检索技术（IR，Information retrieval）的知识问答，往往缺乏语义信息，理解能力较差；基于传统 NLP 的知识问答，常常由于 NLG（自然语言生成）效果不佳，很难模拟出较好的人机交互效果；而基于知识图谱类的知识问答，日常维护成本也相对较高。大语言模型的一个基础能力就是基于给出的上下文信息进行结果总结或生成，在输入时给模型提供问题的