大模型在新能源汽车行业的应用与最佳实践

导读 本次分享的主题为大模型在汽车工业化的实践与应用，主要聚焦于工业制造相关的案例和落地经验。

总共分为五部分：

1. ChatGPT 发展历程

2. 大模型底层原理

3. 大模型赋能新型工业化

4. 工业化中的实践与探索

5. 问答环节

---

01

ChatGPT 发展历程

首先为大家简单梳理下 ChatGPT 的发展历程。

早在 2018 年 OpenAI 就发布了 GPT，但是从 GPT-1 到 GPT-3 生成模型的效果并不是很理想。直到 GPT-3.5 开始，生成模型完成了 NLP 各种问题的统一解法，在生成文本、回答问题、翻译文本等方面具有非常出色的表现，甚至在一些任务上能够达到人类水平。同时 ChatGPT 可以直接使用自然语言的方式进行交互，更加符合人的习惯，随着发展，GPT4 支持多模态输入，能够完成看图作答、角色扮演、图表分析、编程、专业考试等各种各样的复杂任务。

我们知道人工智能的发展经历了两个时代，从 AI1.0 小模型时代到 AI2.0 大模型时代。作为大模型的代表作，ChatGPT 突破了跨域和多模型，数据集由单一领域扩展到了通用领域，从需要大量标注到无需标注或少量标注，这是人工智能普遍落地的基础。比如在工业视觉质检领域中，图片数据的积累非常缓慢，大模型只需要少量标注就可以达到与小模型大量样本相同的效果，这样就能加速整个工业智能化的落地。

02

大模型底层原理

1. BERT 和 GPT 的区别

• 网络结构区别：BERT 类似于 Transformer 的 Encoder 部分；GPT 类似于 Transformer 的 Decoder 部分。

• 使用上的区别：BERT 用 CLS 对应的 Output 作为 Embedding 的结果，然后根据不同的任务进行对应的操作来 fine-tuning；GPT 接近于人类的使用方式，可以通过对话的方式得到问题的答案。

• 预训练任务区别：BERT 采用 Masking Input，使用“填空题”的方式；GPT 采用 Predict Next Token，预测下一个 token。

2. 基于 InstructGPT 的 ChatGPT 改进

ChatGPT 是基于 InstructGPT 发展而来的，主要改进在于：使用了人类偏好的大量对话语料；引入了强化学习。这两点保证了 ChatGPT 的回答更贴近人类的喜好，同时可以让模型不断逼近最好的效果。

3. ChatGPT 训练过程

ChatGPT 的训练过程主要分为三步：

第一步，收集数据训练监督策略模型

第二步，收集数据训练奖励模型

第三步，通过PPO对奖励模型进行强化学习

这里讲 ChatGPT 的训练过程是突出一种思想，这种思想也会在后面的 Agent 闭环中得到应用，因此这里不仅仅是 ChatGPT 的训练过程，更是一种实现模型、Agent 持续增强的完美方案。

03

大模型赋能新型工业化

1. 1. 实现路径

新型工业化是指将工业制造科技能力融入数字化能力和智能化能力，解决供应链和产业链的问题，增强其柔性，同时能够驱动整个工业化产业的技术创新。新型工业化成功的关键在于系统化的工程能力，在大模型发展的今天，新型工业化执行路径可以通过构建如订单系统、排产系统、分析系统、计划系统等的数字系统和建设包含整个 IOT 设备数据的数据系统，并基于数字系统、数据系统和大模型形成 GPT 解决方案平台。再基于 GPT 平台生成的各个 Agent 服务于下游各类业务。

2. 应用范式

大模型赋能新型工业化有三种基本应用范式：

范式 1：指令提示：使用自然语言交互的模式，告知设备或者系统来完成指定任务。例如可以通过语义设备发出指令，让机械手臂完成指定工作，也可以通过指令让大模型生成逻辑控制代码。

范式 2：辅助决策：通过数据驱动模式而不是人工进行交互，如在智能质检场景中，智能摄像机可以通过大模型判断铸件是否有缺陷，如果有缺陷则会给出有缺陷的概率，之后再交由人工判断确认。

范式 3：自主决策：无需人工辅助，常见场景如自动驾驶和自动分拣。

04

工业化中的实践与探索

接下来，详细讲解大模型在蔚来的最佳实践。

首先是平台化，在蔚来，几乎所有业务大模型AI应用都是基于这个 GPT 平台进行编织的，这里提到的 AI 应用就是一个 AI Agent，应用的编织过程实际就是 Agent 的构建过程。平台的架构整体分为芯片层、框架层、模型层、服务层，最上面是业务场景。服务层所有的能力都是围绕着创建 Agent 形成的。模型层中模型和数据是一体的，之所以如此，是因为数据和模型是不分家的，这也是新型架构的思路。过去数据的应用方式是建设数据库，然后通过 SQL 访问数仓。有了大模型之后，完全可以通过自然语言交互的方式直接访问数据，数据隐藏在模型底层，是模型的一部分，直接面向使用者的就是模型层的能力，我们再也不需要直接面向数据进行分析和使用。

1. Agent 逻辑架构

人工智能领域，现在最火的毫无争议是 Agent，那 Agent 是什么，其构件又是怎样的呢？下面就来介绍一下蔚来是如何设计 Agent 的。

大模型应用分为三个阶段，第一个阶段是人类完成大部分工作，模型辅助人决策；第二阶段是人和 AI 协同工作，GPT 能力融入软件并成为软件的一部分，但这个阶段并没有改变整个系统的产品形态，还需要人类提供基础产品，AI 也只能成为原产品的辅助；第三个阶段是 AI 完成大部分的工作即 AI Agent 阶段，人类只需要给出指令并设定目标、给出资源（如系统接口资源），AI Agent 会自动完成目标。

那到底什么是 Agent 呢？其实 Agent 就是模拟人的思考模型、行动模型来工作的，整体分为四个组件：大脑、记忆、感知引擎、规划和任务执行，GPT 充当大脑，插件成为手和脚连接数据和系统，记忆以知识的方式进行存储，感知模型实现视听感知并通过插件和智能体进行对接，最后通过任务执行来完成工作。

2. 三大闭环

为了实现 AI Agent 的持续增强，我们提出了三大闭环：数据闭环、模型闭环和 Agents 闭环。数据闭环和模型闭环是中间态，为最终的 Agents 闭环服务。

（1）数据闭环

数据闭环分为六大环节，数据接入、统一 ETL、数据标注、存储配送、模型训练、效果回收，效果回收后会进一步修正数据。其中数据标注是由大模型来完成的，依赖给定范围内的标签体系。通过整个数据闭环可持续完善知识和数据，如果底层数据是语料，模型回答的问题一直是有偏的，则反映出训练语料有问题，需要修正；在基于 prompt 工程进行知识问答的时候，回答的问题一直不对，也可通过回溯修改知识。数据闭环能够高效链接散落在各处的数据、信息、知识，喂食训练模型和 Agent，整个闭环实现从数据接入、信息解析、知识抽取与分片、知识纠错、智能应用以及效果反馈的全流程闭环，从而打造 Agent 的可持续进化能力。

（2）模型闭环

模型闭环也是分为六大环节，语料、模型、训练、评估、A/B Test、上线，通过人工反馈的机制，当语料积攒到一定程度会触发模型再次训练，当评估达标之后上线。模型闭环实现的目标是模型持续增强，驱动 Agent 自动增强，这里是通过复用训练平台和大数据平台的能力，在这两大基础平台能力之上实现从语料构建、语料存储、模型托管、模型微调、模型测试、模型上线的全流程闭环。

（3）Agents 闭环

前文中提到，我们的终极目标是实现 Agent 的持续增强，下面就来介绍 Agents 闭环。

其涉及多个模型闭环、知识闭环和数据闭环的过程，其中数据闭环和知识闭环是分开的，数据闭环主要关注的是模型训练的过程，即语料闭环，知识闭环主要关心知识更新。为了实现 Agents 的闭环需要构建一个完整的流程，同时能够感知到外界反馈，然后经过归因分析触发相应优化，优化后经过效果评估，评估达标后再更新组件。

基于数据闭环和模型闭环，通过反复迭代不断地强化学习过程。这就是我前面讲到的 ChatGPT 训练方案的又一次再现，基于此思路我们实现了 Agent 闭环。

3. 应用案例

（1）三位一体智能质检

质检是工业制造中质量的保证，对于工业制造非常重要，我们提出了三位一体的智能检测方案，对于质检我们可以从三个方向实现突破，即看得到的、听得到的、可数字化的，对于“看得到的”可以通过 CV 大模型替代人工检测，由于大模型拥有跨域知识能力，能在缺少图片数据的场景中降低冷启成本；对于“听得到的”可以通过声音模型进行分析识别异响；对于可数字化的，可以通过大模型进行分析预测，比如和标准结果进行对比分析，看是否匹配。

我们知道在实际的生产中，产线侧的系统不可能完全依赖于云端，由于一旦停网可能会影响生产，所以产线内无法完全依赖外网，我们提出了云边一体的架构，边端系统一般需要部署在产线旁边。边端系统的主要任务是检测，同时将数据上传到云端，云端系统主要是实现整体模型训练的闭环。云边一体的架构结合在一起，能实现边端系统的持续增强和云端可视化与综合分析。

云端的闭环训练流程对于每个场景都是独立存在的，需要数据持续累积。云端模型会根据持续新增的数据量来决定是否重新训练模型，在模型的指标评估、点检实验等都通过后模型才能上线，从而实现持续化的模型迭代。

（2）G8D Agents

最后我们看一下如何解决工业生产过程中的复杂质量问题。在行业内，质量的处理流程一般采用 G8D 的方案来解决这类问题。G8D 主要分为八个模块：发现问题、紧急措施、团队搭建、问题定义、短期措施、根因分析、长期方案、长措落地、预防再发生、经验沉淀与祝贺。

设想当 G8D 和大模型结合时，会碰撞出怎样的火花呢？我们据此又提出了 G8D Agents 的复杂问题解决方案，这里需要构建 8 个 Agent，每个 Agent 对于 G8D 的每一个 D 承担相应的任务。当把 8 个 Agents 构建成一个 team 的时候，就可以完成整体复杂问题的分析与处理。当然这其中需要对接数据系统和质量分析系统，并沉淀经验给上游系统（如质量分析、质量案例池等）从而能够回馈到整个系统中。

在没有 G8D Agents 之前，质量分析过度依赖工程师的经验，其经验也没有很好地沉淀下来，而 G8D Agents 系统不单实现了质量问题的快速分析处理，同时能快速沉淀经验。最后 G8D Agent 系统可以跟各个系统打通或是成为系统的重要组成部分，相当于各系统拥有 8D Agents 的能力，可以避免沉重的数字化系统建设，以轻量的 Agent 解决方案节约开发成本，全面加速问题解决效率。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓