自工业革命以来,工业生产先后经历了机械化、电气化、自动化、信息化的演进,正从数字化向智能化迈进,人工智能技术是新一轮科技革命和产业变革的重要驱动力量,AI 大模型以其强大的学习计算能力掀开了人工智能通用化的序幕,持续加速产业升级和高质量发展,成为推动我国工业智能化的关键因素和数字经济发展的重要引擎。
工业大模型,特指在工业领域设计和应用的、具有大量参数的人工智能模型,它们通过深度学习和海量数据分析,为工业自动化、智能化提供了强大的算法支持和决策辅助。工业 4.0 的浪潮带来了对智能制造前所未有的需求,工业大模型作为这一转型过程中的核心驱动力,其创新应用正成为学术界和工业界关注的焦点。它们不仅能够提升生产效率,降低运营成本,还能够促进新产品的快速开发,提高市场响应速度。
一、工业大模型的发展现状
顾名思义,AI 大模型指具有大量参数和复杂结构的深度神经网络模型,是大数据、大算力和强算法结合的产物,是凝聚了大数据内在精华的隐式知识库。随着算力的不断提升以及大规模数据集的持续丰富,大批科技公司和学术机构开始构建拥有数以亿计甚至数千亿参数的神经网络。大模型的概念是相对以前专用的小模型而言的,大模型拥有更多的参数和更深的网络结构(更多的隐藏层),可以更好地捕捉数据中的复杂模式,学习更高层次的抽象特征,从而在各类任务处理上拥有更好的性能和更出色的表现能力。
使用通用数据集训练得到的 AI 大模型虽然具有强大的自然语言理解与生成能力,但由于缺乏特定行业的数据和知识,在处理特定工业任务时,往往难以理解细分领域的专业术语和约束规则,输出的解决方案无法满足工业实际应用的要求。此外,AI 大模型在应用于工业场景时往往需要接入企业的信息系统,由于缺乏企业业务流程、数据结构、运营模式等方面的数据和知识,生成的解决方案无法匹配特定企业的实际需求。
近几年来,为了使 AI 大模型深度适配工业场景,学术界和产业界开展了大量的研究工作,也取得了比较丰硕的成果。丰田汽车基于计算机辅助工程的优化理论,开发了专为车辆设计师服务的工业大模型,可以将工程约束条件融入设计流程,根据文本提示生成的设计草图自动优化了风阻、底盘高度等关键工程参数。Back2CAD 公 司 在 OpenAI 和 Amazon AWS 等 的支持下开发了 CADGPTTM 大模型,具有 CAD项目辅助、文档生成、代码生成、虚拟助手功能。西门子开发的 Siemens Industrial Copilot 可迅速生成并优化仿真代码,将原来长达数周的仿真任务缩短至数小时甚至数分钟。Vanti 公司开发的工业大模型 Manufacturing COPILOT 可以融合来自企业资源计划(Enterprise Resource Planning,ERP)、制造执行系统(Manufacturing Execution System,MES)等不同信息系统的异构数据,借助可视化技术,以自然语言对话的方式与用户交互,将数据分析处理过程转换为易于理解的、可操作的图形化叙述,实现辅助决策。山东能源集团、华为以及云鼎科技联合发布的盘古矿山大模型是全球首个应用于能源行业的工业大模型,原先需要工人下矿井逐个检查的卸压工程规范性验证操作,现在坐在办公室里就能完成。深信服发布的安全 GPT 大模型基于海量流量、代码、安全日志等特定安全领域数据,实现了高精准的攻击流量检测和解读,能够有效检测 Web 0day 漏洞、高度对抗的混淆、协议绕过等高级威胁。北京航空航天大学团队打造的工业大模型 AIGC 引擎具有工业仿真系统代码生成、工业数字孪生场景生成、机器操控指令生成、生产工艺生成等多项功能。
总的来看,当前 AI 大模型在工业领域的应用可以归结为两个方向:一是使模型具备更强的泛化能力,提升小样本训练效果,使其可以迁移至更多应用场景,主要应用场景有视觉检测、质量控制、原材料检测、环境感知、AGV自主导航等;二是作为工业应用的入口,以自然语言对话的方式生成工业领域的文字、图像等内容,降低工业应用的使用门槛,主要应用场景有生产报表生成、控制代码生成、设备监控、生产调度等。
二、工业大模型的构建模式
由于缺乏对工业细分领域知识的理解,基于大规模通用数据集训练得到的通用大模型往往无法直接生成满足工业特定任务要求的解决方案,因此,为了使 AI 大模型能够真正赋能工业智能化发展,必须构建专业的工业大模型,目前主要存在三种构建模式:预训练模式、微调模式和检索增强生成模式。
(一)预训练模式
预训练模式是指按照通用大模型的构建方法,收集大量无标注的工业数据集和通用数据集,使用 Transformer 等架构重新训练模型,学习工业数据集中的通用特征和知识,使模型能够从容应对行业的具体问题。这种模式的优点是工业大模型具备广泛的工业通用知识,可以最大程度地满足各类工业场景的需求。此模式缺点也同样明显,高质量工业数据的收集、大量的训练时间、对庞大算力资源的占用、电力消耗以及其他相关开销,导致预训练大型模型的成本高昂,可达数百万美元,甚至更高,只有大型科技公司或研究机构才有能力承担,普通的企业或个人很难负担得起。
(二)微调模式
微调模式是指在一个已经预训练好的基础大模型的基础上,利用特定工业场景已经标注好的针对特定任务的高质量数据集对大模型进行架构调整(例如添加特定的输出层)和参数优化,从而使其学习到工业细分领域的知识,能够完成特定的工业任务。在微调过程中,通常会选择冻结大模型的底层参数,以保留其在预训练阶段学习到的通用知识,只更新模型的顶层或新添加的适配器层,以学习特定任务的特征。微调模式能够合理利用预训练基础大模型的广泛知识,通过微调使其能够适应特定的任务需求,减少从头开始训练所需的时间和资源,并且对数据量的要求更低,单个任务的微调通常只需要几千至上万条工业数据,但要求所用的数据已被标注。
(三)检索增强生成模式
检索增强生成模式是指为已经预训练好的基础大模型外挂一个它能理解的行业知识库(通常为向量数据库),在不改变原大模型参数的情况下,使其能够在生成响应之前引用训练数据集之外的权威知识,从而快速接入工业细分领域的信息,实现特定工业场景的知识问答和内容生成。在没有检索增强生成前,大模型接受用户输入,并根据预训练过程中学习到的知识创建响应结果。检索增强生成允许大模型动态地访问和利用大量的外部信息,其工作过程如图 1 所示。检索增强生成为大模型添加了一个信息检索组件,这个组件会将用户输入转换为向量表示,并于外部行业知识库中执行相关性搜索,检索与之相关的文档或信息片段,这些文档或信息片段不仅提供了上下文背景,还扩展了模型对特定领域或话题的理解,大模型根据接收的这些文档或信息片段以及用户的原始输入来生成答案。这种模式的优势是无需进行额外训练,只需构建和接入权威的行业知识库,就能快速利用现有的基础大模型实现对工业领域知识的理解和应用,后续大模型的更新和维护也仅局限于信息检索组件和行业知识库的迭代。但与预训练模式和微调模式相比,这种模式的泛化能力和稳定性要差,可能无法充分适应工业场景的需求。
图 1 检索增强生成模式的大模型工作过程
三、基于工业互联网平台的工业大模型通用体系架构
在工业大模型的开发实践中,预训练、微调以及检索增强生成构建模式构成了一套丰富而灵活的框架体系,鉴于不同工业场景对模型性能、效率及可解释性等方面的多样化需求,综合采用上述多种构建方式已成为一种趋势。卡奥斯基于海尔集团 40 年的制造业经验,以多个开源通用大模型为基础,在微调的同时融入检索增强生成机制,自主研发了国内首个以工业互联网平台为数字底座的多模态大模型——COSMO-GPT 工业大模型(见图 2),其总体架构可以概括为“1+1+N”,即 1 个数字底座、1个能力引擎和N 个应用场景。
图 2 以工业互联网平台为数字底座的 COSMO-GPT 工业大模型总体架构
(一)数字底座
数据质量直接决定了工业大模型的性能,如果输入的数据存在噪声或代表性不强,必将使模型的推理能力下降,若数据类型单一,还可能增加过拟合的风险。因此,无论是采用预训练模式、微调模式,还是检索增强生成模式,想要得到泛化能力强、准确性高的工业大模型,都必须先获得高质量的工业数据集。工业互联网平台作为数字底座,可以提供工业设备接入、数据采集、数据清洗、数据集成等能力,为工业大模型的预训练、微调和检索增强生成奠定坚实的数据基础。以卡奥斯 COSMOPlat 工业互联网平台为例,该平台已链接企业 90 万家,服务企业 16 万家,平台的现代工业数据栈能够高效采集来自企业工业软件、信息系统、传感器和生产设备等的海量异构数据,并进行实时数据清洗、融合、分析和标注,目前已建立工业数据集 562 个,其中有效数据 300 余万条。
(二)能力引擎
基于工业互联网平台,卡奥斯积累了 3900余个用于研发设计、生产制造、服务管理等环节的工业机理模型,200 余个用于故障诊断、路径规划、生产调度、质量控制等场景的专家算法,以及大量工业知识图谱、专用词典、行业标准、发明专利等,并基于这些内容建立了面向工业细分领域的行业知识库,为大模型的检索增强生成提供了有力支撑,这使得 COSMO-GPT 工业大模型具备了五大核心能力:一是工业知识问答,针对特定工业场景中的知识点进行信息查询和问题解答,包括注塑机、工业机器人、机床等生产设备的操作知识,工业生产和加工的标准操作流程,设备故障原因分析和维修建议,工业环境中的安全规范,材料、组件和产品的技术规格等;二是工业代码生成,包括工业设备的控制代码、PLC 等控制器的控制代码、工业机器人路径规划和动作序列代码、数字孪生和仿真代码、数据采集与监视控制系统(SCADA)使用的脚本、用于数据处理和分析的代码等;三是工业文本生成,包括技术手册、操作规程、维护指南等技术文档,生产报告、质量分析报告、设备运行报告、故障诊断说明等分析报告,安全教育、操作指南等员工培训材料,团队协作记录、会议纪要、交接班报告等沟通文档,设计规格说明等设计文档等;四是工业理解计算,包括物料齐套检查、设备物料选型、订单延期推算、产品不良率统计分析等;五是工业多模态,支持文本、图像、语音等多种类型的工业数据,增强工业信息理解和推理能力。
(三)应用场景
通过模型即服务的部署架构,COSMO-GPT工业大模型可以面向不同行业、不同需求,为用户提供轻量化、定制化的解决方案,实现从交互设计、虚拟仿真、网络协同、柔性生产到智能服务全生命周期的智能化升级,助力从场景、企业、园区、行业到城市的数字化转型,打造矩阵式赋能新范式。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。