企业领域知识大模型应用的知识工程实践

1、模拟和复制“人类专家”的智能行为一直是人工智能的研究重点

在企业运营、社会治理活动中，有一类角色被称为“领域专家”。这类角色的工作通常基于个人或组织长期积累的专业知识和行业经验，通过对其它岗位或部门的输入，比如工作文件、对话等，进行检查、分析和评估，提供专业的评价或决策建议等输出。我们常见的工程技术评审、财税顾问、审计风控专员、律师、医生都属于这样的工作模式。

从知识工程的角度来看，这些领域专家的工作具有一些共性特点，比如:

1. 知识密集型：这类工作高度依赖专家的隐性知识和显性知识。隐性知识包括多年积累的经验、直觉和判断力,而显性知识则包括行业标准、法规和最佳实践等。

2. 结构化与非结构化知识的结合：评审或者评价过程通常需要结合结构化的数据和规则(如设计规范检查表、合规检查表)，以及基于语义理解的专业判断。

3. 上下文敏感性：专家需要根据不同任务的实际情况和上下文，来解释和应用他们的知识,而不是简单地、死板的固守规则。

4. 推理过程：有些评审工作涉及复杂、专业的计算和推理过程,包括归纳、演绎和类比推理,以得出结论和建议。

5. 知识更新和学习：随着行业变化,专家需要不断更新自己的知识库,学习新的规则、技术和最佳实践。

6. 跨领域知识整合：专家工作常常需要整合多个领域的知识,如技术、法律、财务等。

7. 决策支持：专家经验的最终目的是为管理层或工作对象的决策提供支持,因此需要将复杂的专业知识转化为清晰的建议。

8. 知识表达和传递：专家需要能够清晰地表达他们的评审结果,并有效地将知识传递给其他利益相关者。

   这些特点使得领域专家能够在复杂的企业运营中发挥关键作用,为决策提供专业支持,解决棘手问题,并推动创新。然而,这些宝贵的专业知识和经验如何被高效地捕获、传承和放大？一直是企业和AI研究者们关注的重点。上世纪60年代，斯坦福大学就开发了首个聚焦领域特定知识和启发式规则的专家系统Dendral。数十年来，尽管AI领域在模拟专家工作方面取得了一系列成果,但这些方法在实际应用中仍然表现差强人意，究其原因有以下几个方面:

9. 知识获取的难度:

   从人类专家那里提取和编码知识是一个耗时且复杂的过程。专家们清晰地表达他们的隐性知识和直觉判断也是困难的挑战。这导致知识库的构建成本高昂,而且难以保证完整性和准确性。许多专家系统项目正是因为无法有效地获取和更新知识而失败。

10. 规则的僵硬性:

    基于规则的系统在处理复杂、动态变化的情况时显得过于僵硬。规则之间可能存在冲突,且难以涵盖所有可能的情况。比如在金融风控等领域,仅依赖固定规则的系统经常无法及时应对新型欺诈手段。

11. 缺乏通用性和可迁移性:

    为特定领域开发的专家系统通常难以应用到其他相关领域,即使是相似的问题也需要重新开发。这大大增加了专家系统的开发和维护成本,限制了其在企业中的广泛应用。

2、大语言模型（LLM）对于实现领域专家系统的新突破

利用预训练大语言模型(LLM)，应对传统专家系统难以克服的挑战,已成为当前极具潜力的发展路径，优势如下：

1. 知识获取的突破:

• LLM可以从大量非结构化文本中自动提取知识,大大降低了传统专家系统面临的知识获取难度和成本。

• 可以通过微调或提示工程,让LLM快速适应特定领域的专业知识。

3. 灵活的处理现实世界的不确定性和模糊:

• LLM的自然语言理解能力，可以基于理解上下文和语境，更好的处理现实世界中的不确定性、不一致和模糊情况,克服了传统规则系统的僵硬性。

5. 利用多步推理实现复杂的逻辑:

• 通过合适的提示词和Agent技术,LLM可以执行多步推理过程,将复杂的逻辑分解为简单的推理，这更接近人类专家的思考方式。

7. 跨领域知识整合:

• 大参数规模的预训练LLM已经将大量的人类知识“压缩”进模型内部，结合专业知识库和RAG，LLM能够在不同领域之间建立联系,提供跨多学科和多领域的专业分析能力。

9. 减少幻觉、持续学习和快速更新:

• 通过RAG,LLM可以利用持续更新的知识库,保持最新的知识能最快在实际任务中得到应用。

11. 自然的人机交互:

• LLM的自然语言生成能力可以大大改善传统专家系统的使用模式和用户体验,使非专业人士也能轻松使用。

3、大语言模型应用开发中的知识工程关键过程

以工程项目（比如建筑、交通、能源、制造）的专业技术评审任务为例，如果要实现初级基础支持级（I级）人工智能评审支持，一般有以下实现过程：（关于大模型领域专家评审应用的成熟度分级，见后文解释。）

1. 文档分析：

• 依靠专业经验，分析并设计入库工程文件的分块、分区、索引策略和元数据策略，这个过程可以使用LLM+RAG系统辅助完成。

3. 检查表结构化：

• 将现有的纸质或电子版检查(规则)表转换为结构化的数据格式，如JSON/CSV/Excel规则表。

• 每个检查项包含查询描述、筛选条件、计算规则、判别规则、输出要求等信息，形成结构化规则模版。

5. 提示工程：

• 设计一个提示模板，利用程序将检查表条目转化为大语言模型可以理解和执行的指令（提示词），对于复杂处理逻辑的规则，应拆解为多步任务；此步骤称为“提示词动态装配技术”；

• 例如：“第一步：请在[xxxx文档]中查找满足[筛选条件]的[数据项1、数据项2、数据项n]；第二步：根据[计算规则]完成计算；第三步：依据[判别规则]输出最后结果。”

7. 执行筛查流程：

• 逐项执行检查表中的规则条目。

• 对每个规则条目或结合多条规则的返回结果，LLM可以给出"符合"、"不符合"或"需进一步评估"的初步判断。

• LLM还可以提供简短的解释或引用相关文档段落。

9. 结果汇总：

• 生成一份初步筛查报告，列出所有检查项及其评估结果。

• 突出显示需要人工复查的条目。

11. 人机协作界面：

• 设计交互界面，允许人类专家查看、修改和确认LLM的初步筛查结果。

• 提供反馈机制，记录人类专家的修改和反馈，用于后续模型的微调或提示词优化，不断改进系统的准确性。

  这样的方法优势在于：

• 可以批量、快速处理大量文档和检查项。

• 提供了一致性的初步筛查结果。

• 提供了一种规则/程序分离的新方法；

• 可以捕捉到人类可能忽视的细节。

• 为人类专家提供了一个良好的起点，可以集中精力在需要深入评估的项目上。

4、不同类型规则的提示词知识表示

在专业场景下，不同类型的规则需要不同的定义和提示词表述方法，例如“输变电工程领域”：

1. 数值型规则：

• 定义方法：明确的数值范围或阈值。

• 表述例子：“110kV变电站主变压器容量应在40MVA到180MVA之间。” “输电线路杆塔基础深度不得小于2.5米。”

• 实现方式：可以直接用条件语句或简单的数学表达式表示。

3. 分类型规则：

• 定义方法：明确的类别或选项列表。

• 表述例子：“220kV变电站主变压器类型必须是油浸式或干式。” “架空输电线路导线类型应为钢芯铝绞线、全铝导线或钢芯铝合金导线。”

• 实现方式：可以使用枚举类型或预定义的列表进行表示。

5. 逻辑关系规则：

• 定义方法：使用if-then结构或逻辑运算符。

• 表述例子：“如果变电站位于海拔3000米以上地区，则必须选用防寒型设备。” “当主变容量大于等于180MVA时，必须配置第三绕组。”

• 实现方式：使用条件语句或简单的判别规则表示。

7. 复合规则：

• 定义方法：结合多个简单规则。

• 表述例子：“500kV变电站的主变压器容量应在750MVA到1000MVA之间，且必须为自冷式，同时具备有载调压功能。”

• 实现方式：使用多个简单条件组合的逻辑结构。

9. 时序或过程规则：

• 定义方法：描述一系列步骤或时间相关的条件。

• 表述例子：“变电站设备安装后，必须先进行绝缘测试，然后进行负荷试验，最后才能投入运行。”

• 实现方式：直接使用提示词，特别的规则可能需要使用状态机或工作流引擎来实现。

11. 模糊或定性规则：

• 定义方法：使用不精确但专业的描述。

• 表述例子：“变电站选址应考虑周边环境，尽量远离居民区。” “输电线路走廊应尽可能避开生态敏感区。”

• 实现方式：这类规则需要LLM的自然语言理解能力。

13. 参照型规则：

• 定义方法：引用特定的标准或文档。

• 表述例子：“变电站防雷设计必须符合GB 50057-2010《建筑物防雷设计规范》的要求。”

• 实现方式：需要链接到具体标准的数据库，或使用LLM理解和应用这些标准。

15. 计算型规则：

• 定义方法：包含特定计算公式。

• 表述例子：“变电站接地网的接地电阻应满足：R ≤ 0.5 Ω，其中R为接地电阻值。”

• 实现方式：需要实现相应的计算功能，对复杂的工程计算开发专门的算子操作。

  通过以上的规则梳理，可以将专业的领域知识提取出来，注入到知识库，利用RAG实现专业评审规则应用；也可以作为精调训练数据，训练专门的领域大模型，完成专业评审任务。

  以下是基于评审指导条目，输入工程设计文件内容，进行专业评审并输出报告的提示词模版。

任务：根据提供的评审指导对工程设计文件进行评审。``   ``评审指导：``1. [关键点1]: [具体要求]``2. [关键点2]: [具体要求]``...``   ``工程设计文件内容：``[在这里插入工程设计文件的相关部分]``   ``请对每个关键评审点进行分析，并给出评审意见。格式如下：``   ``关键点：[关键点描述]``评审意见：[您的评审意见]``建议：[改进建议，如果有的话]``   ``请确保您的评审全面、客观，并提供具体的改进建议。

通过这种方法，LLM可以辅助生成初步的评审意见，然后由专业人员进行审核和完善。需要强调的是，在当前的技术水平下，LLM的输出应该始终被视为辅助工具，最终的评审结果仍需要专业人员的判断和确认。

5、基于大模型的领域专家知识应用技术成熟度

大模型不是阿拉丁神灯，把所有问题都抛给它解决是不现实的。考虑技术发展的客观规律，我们建议将领域专家知识应用的技术成熟度划分为5个等级：

1. 初级 - 基础支持级

• 能够理解和回答关于特定领域的基本问题

• 提供简单的文档摘要和关键词提取

• 基于预定义的检查表进行初步筛查

3. 中级 - 辅助分析级

• 能够识别文档中的关键信息和潜在问题点

• 提供基于规则的初步合规性检查

• 生成结构化的评审报告草稿

• 能够回答更复杂的领域相关问题

5. 高级 - 智能评估级

• 进行深度文本分析，识别潜在风险和机会

• 基于历史案例和最佳实践提供建议

• 生成详细的评估报告，包括论据和推理过程

• 能够处理跨领域的复杂问题

7. 专家 - 决策支持级

• 提供基于多维度分析的决策建议

• 模拟不同场景和潜在结果

• 整合外部数据源进行更全面的评估

• 能够与人类专家进行高级对话，解答复杂查询

9. 精英 - 自主协作级

• 主动识别需要人类专家介入的复杂情况

• 学习并适应新的行业趋势和规则变化

• 协调多个AI助手和人类专家的协作

• 提供持续的知识管理和组织学习支持

  对于知识管理基础好的企业，基于当前开源大语言模型，结合专业的知识工程能力和最佳实践，开发出达到3-高级、甚至4-专家级的企业领域知识应用是完全可行的。那些认为“企业大模型”这也干不了，哪也干不好的，真实原因很可能不是大模型不行，而是企业知识工程能力不匹配而已。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】