垂直领域中al大模型项目的策略

“AI大模型”

如何在各个垂直领域中运用新兴的AI大模型技术来提升生产力，是当下的热门话题。在此首先要明确一下“AI大模型”的含义。

在许多行业的应用领域当中，基于深度学习方法的AI大模型早已开始应用。AI大模型应该同时包含通用的和专用的、决策式和生成式、面向语言的和非语言的，等等。其实，除此以外，基于规则推导的专家系统类也属于AI，因其高效、可解释也很有用武之地，不是本文重点后续就不再单独提及了。

两种不同的建设方式

模型是对现实世界的抽象，算法是模型的实现方式。

通用大模型是对普遍知识的抽象，如果垂直领域的知识模型可以完全由通用大模型支撑，那么基于通用大模型构建领域应用是完全可行的，此时的算法可以被看做是行业应用中的公共基础软件。采用通用大模型+微调的方式，应该可以得到适合领域特征的应用。

如果垂直领域存在不通用的知识，垂直领域中的知识具有特殊性，不能完全由通用大模型来表达，那么就需要有更专业的模型对领域中专业知识进行抽象，垂直领域中的knowhow需要有针对性的算法，此时的算法也就必须有相应的独特性，其向量空间就需要满足专业知识的要求，要与领域专业知识模型紧密结合，从而直接决定了应用的表现，这样就需要在应用系统建设中采用重构大模型的方式，而不是“微调”所能解决的。

此时，通用大模型+微调的方式未必适用于垂直应用领域，算法的调整实际就是改变了模型，可能会导致全部参数的重新计算，所以在模型构建之初就需要确定其针对的领域知识的特征。

【一一AGI大模型学习 所有资源获取处一一】

①人工智能/大模型学习路线

②AI产品经理入门指南

③大模型方向必读书籍PDF版

④超详细海量大模型实战项目

⑤LLM大模型系统学习教程

⑥640套-AI大模型报告合集

⑦从0-1入门大模型教程视频

⑧AGI大模型技术公开课名额

两种不同的实现方式，决定了基本的项目实施策略的不同。

垂直领域AI应用建设的一些要求

能解决问题的方案才是好方案。站在应用方的角度来说，垂直领域AI应用都应该在有效解决问题提升效率的同时，还具有很好的ROI，例如：满足应用场景的需要，具体精确性和可解释性、能满足独特算法和知识的需要、符合私有化知识保护的要求、训练推理成本相对较低等。

因此，构建垂直领域AI应用的技术策略，未必都要是通用大模型，可能是更需要具有针对性的模型应用。特别是在工业制造领域，要在自动化的基础上进行智能化升级，专用的大模型、决策式大模型，能满足企业个性化需求的，符合单个企业ROI要求的，都可能会有广泛的应用机会。

另外一个重要影响因素，就是还需要与已有的领域专业数据库相结合，通常被称为RAG。企业中已经积累的各类结构化数据都是经过精确标注的数据，其准确性和可解释性是大模型中的Token所无法比拟的，所以最好以大模型的外部知识库的方式加以有效利用，而非都作为Token训练到大模型当中。

也就是说，垂直领域中如何运用AI大模型，需要从问题、需求出发，考虑整体解决方案，然后才是根据解决方案的需要，选择最为有利的方式引入适合的大模型，既能够解决实际问题，又能够满足ROI的要求。

项目组角色的组成

不论采用通用大模型+微调方式，还是根据垂直领域特征重新构建大模型应用的方式，垂直领域大模型应用建设项目，都需要这些角色的参与：

• 领域专家：负责抽象定义出垂直领域的模型；

• AI算法专家：负责根据模型的需要设计开发相应的算法；

• 数据专家：负责根据模型算法的需要，识别、收集和运用训练数据。建立数据治理体系并建立数据加工处理流程以得到高质量的训练数据，并持续利用这些数据进行模型训练和模型优化；

• 算力提供者：负责提供算力的私有部署或提供公有的算力服务；

• 原有数据库的业务与技术支持人员：负责根据整体解决方案的需要，提供原有数据库/知识库在数据内容和技术访问等方面的RAG对接支持。

• 软硬件技术人员：负责按照解决方案的要求，通过应用开发、系统集成等工作，建立起完整可用的AI大模型应用系统。

• 项目管理人员：负责项目管理。AI大模型应用建设项目，由于其技术特性、工程方法、资源要求等方面，与传统信息化项目存在着显著的差异，所以对项目管理人员也提出了新的要求。

ROI始终是很多机构是否引入AI大模型的重要考量因素。鉴于当前AI的技术门槛比较高，相关资源还比较稀缺，两大类资源会在成本结构中占较大比例，对项目组的组成也会产生影响。在专业化的人力资源方面，在垂直领域大模型应用过程中，更需要熟悉AI大模型技术的厂商与实际应用领域客户的紧密合作，除非应用方自身能够具备足够的技术能力可以进行自主研发（特别是当算法反映自身knowhow时，是否更应该拥有自己的算法工程师）。在算力资源方面，也同样可以考虑，如何在保护自身独有的知识、数据的前提下，采取租用外部算力资源的方式降低成本。

对自身知识的归纳总结和自有数据的加工处理，也是垂直领域AI大模型应用得以成功的关键前提。打破信息孤岛、数据电子化、建立全局数据视图和数据标准、通过清洗加工标注等方式提高数据质量、协调大模型与外部知识库的配合等，要保证提供高质量的数据，保证在整个系统中数据流的畅通，这些都需要客户方自身的努力，不排除有可能在这一类项目当中，还要从最基础的信息化工作做起，才能具备数字化转型和智能化改造的条件。

如何系统的去学习大模型LLM:

一、全套AGI大模型学习路线

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。