AI大模型研究：大模型对整车智能化将带来颠覆性影响

佐思汽研发布《2024年AI大模型对整车智能化设计和开发的影响研究报告》。

AI大模型正经历突飞猛进的发展，ChapGPT和SORA的推出让人感到震撼，处于AI前沿的科学家和企业家指出，AI大模型将重构各行各业，特别是科技相关的领域。智能汽车作为一种科技产品，将如何被AI大模型改变？

大模型如何重构智能汽车？

继《2024年汽车AI大模型技术和应用趋势研究报告》从宏观层面探讨AI大模型对汽车行业的影响之后，佐思汽研推出第二份研究报告《2024年AI大模型对整车智能化设计和开发的影响研究报告》，从汽车硬件层、操作系统层、应用功能层、云端大数据层等方面研究AI大模型对整车智能化设计和开发的影响。

2023年，长安汽车在原有的SDA软件驱动架构上（SDA原来包含L1-L6层），加入了AI边缘侧和AI服务层。可以看到AI技术已经影响到智能汽车的大多数层面：L3电子电器架构层，L4整车操作系统层，L6整车功能应用层（含座舱、网联和智驾），L7云端大数据层等。L1机械层的底盘部分，L2动力层的电池部分，实际上也已经开始有AI应用案例。

长安汽车AI+SDA整车架构

来源：长安汽车

总结当前主机厂和Tier1的大模型应用情况，主要还处于整车智能化的局部层面，或开发流程的某个环节。

AI大模型在整车智能化架构各层级的应用案例

整理：佐思汽研

观察AI大模型在汽车应用的大趋势，我们还需要从大模型的演进中寻找思路。根据腾讯研究院的成果，AI将从大脑进化到AI Agent，从CoPilot进化到自主驾驶。

来源：腾讯研究院

那么，什么是AI Agent？

大模型/AI Agent 将取代 操作系统/APP?

佐思汽研认可这样的观点：AI大模型即OS，AI Agent（智能体）即应用。智能化产品的开发范式将从传统的OS-APP生态系统范式转变为 AI大模型-AI Agent生态系统范式。

来源：互联网

什么是AI Agent？AI Agent是一种超越简单文本生成的人工智能系统。它使用大型语言模型（LLM）作为其核心计算引擎，使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之，Agent是一个具有复杂推理能力、记忆和执行任务手段的系统。可见，蔚来汽车座舱里的NOMI GPT，特斯拉FSD V12就分别是座舱域和智驾域的AI Agent。

来源：知乎

AI大模型是平台级AI，包括一线科技公司推出的大模型如ChatGPT，文心一言等。平台级AI可以作为技术基础，全面赋能操作系统，被视为下一代操作系统的新内核。传统的操作系统内核主要负责管理和调度系统的硬件资源，如GPU、内存等，以确保系统的正常运行和高效利用。然而，随着用户需求的日益增长，AI系统需要解析许多与人相关的个性化体验。

对于个人知识库、人的位置和状态感知、人的习惯爱好等与人相关的个性化因素，传统的操作系统无法进行有效的计算和处理。因此，我们需要一个全新的内核来满足这些需求。平台级AI大模型的强大之处在于，它能够管理和处理多种个人因素，帮助操作系统精准识别用户的意图。有了这样的能力，全新的操作系统就能为所有人带来“猜你所想，懂你所需”的智慧体验。

在汽车座舱应用中，要做到真正的千人千面，还需要车企根据自家车型和服务的特点，对AI大模型做进一步的定制，也就是基于平台级AI大模型基础上的AI Agent。我们可以看到，吉利车型（譬如极越、银河）基于百度文心一言推出的座舱系统，奔驰接入ChatGPT后的车载语音助手，实际上都是一种AI Agent。

目前，智驾AI Agent和座舱AI Agent是分离的，未来随着舱驾融合的发展，智驾AI Agent和座舱AI Agent也将走向融合。但是，主机厂和Tier1现在考虑舱驾融合，就不能只考虑硬件层面的融合，还需要考虑操作系统和整车系统架构层面，特别是要考虑大模型/AI Agent模式的快速演进。

大模型/AI Agent 目前是操作系统/APP生态的一部分，未来会取代操作系统/APP 模式吗？我们认为是有可能的。

基于大模型的Agent不仅可以让每个人都有增强能力的专属智能助理，还将改变人机协同的模式，带来更为广泛的人机融合。人类与AI协同有三种模式：嵌入（embedding）模式，副驾驶（Copilot）模式，智能体（Agent）模式。

来源：知乎

在智能驾驶中，嵌入（embedding）模式相当于L1-L2级自动驾驶，副驾驶（Copilot）模式相当于L2.5和高速NOA，智能体（Agent）模式相当于城市NOA和L3级自动驾驶。

在智能体（Agent）模式下，人类设定目标和提供必要的资源（例如计算能力），然后AI独立地承担大部分工作，最后人类监督进程以及评估最终结果。这种模式下，AI充分体现了智能体的互动性、自主性和适应性特征，接近于独立的行动者，而人类则更多地扮演监督者和评估者的角色。

在AI智能体（Agent）模式下，原来通过车机APP实现的大量交互操作，现在通过自然形态交互（语音，手势等）就能实现目标。甚至AI Agent主动观察车内外情况，提出需求问询，经过车主确认后即可执行某项任务。

因此，AI Agent的发展必然让以前的大量APP变得没有必要，必将给智能座舱和智能驾驶的开发及应用，带来颠覆性影响。

当前的AI大模型并不是操作系统，而是一种人工智能模型的范式和架构，关注如何让机器具备处理多种模态数据(如文本、图像、视频等)的能力。AI Agent更类似于一种人工智能应用或应用层，需要底层操作系统和硬件的支持才能运行，本身不负责计算机系统的基本管理和资源调度。未来AI大模型很可能和OS结合，成为AIOS。

AI大模型和AI Agent的发展对未来操作系统的影响包括：

• 小APP程序将会消失或者演变成调用大模型的AI智能体形态；

• OS体系可能演变成大模型+计算芯片的核心集群OS架构；

• AI大模型作为平台重新定义和赋能各类行业应用场景，催生更多以人机交互为核心的原生应用，包括自动驾驶车辆、机器人和数字孪生应用等。

《2024年AI大模型对整车智能化设计和开发的影响研究报告》目录

共160页

01

AI大模型应用现状与未来趋势

1.1 AI大模型应用简介

1.1.1 各类AI模型介绍

1.1.2 多模态大模型VLM：通用架构和演进趋势

1.1.3 大模型对3D道路场景理解的演进趋势

1.1.4 多模态大模型对智能汽车行驶道路场景理解的演进趋势总结

1.2 应用现状

1.2.1 AI大模型应用分类

1.2.2 AI大模型应用现状：供应商

1.2.3 AI大模型应用现状：主机厂

1.2.4 AI大模型在整车不同层级的应用

1.2.5 AI大模型在不同场景中的应用实例

1.3 Sora文本生成视频大模型

1.3.1 自动驾驶AD基础大模型：世界模型与视频生成

1.3.2 视觉生成大模型：历史回顾与对比分析

1.3.3 Sora文本生成视频大模型：基本原理与社会价值

1.3.4 Sora文本生成视频大模型：基本系统介绍

1.3.5 Sora文本生成视频大模型：基本功能

1.3.6 Sora文本生成视频大模型：优势与局限

1.3.7 Sora文本生成视频大模型：案例分析

1.3.8 解读Sora模块（1）

1.3.9 解读Sora模块（2）

1.3.10 解读Sora模块（3）

1.3.11 解读Sora模块（4）

1.3.12 Sora vs GPT-4：算力需求对比分析

1.3.13 Sora文本生成视频大模型：对自动驾驶行业的推动预测

1.4 总结

1.4.1 AI大模型导致涌现效应

1.4.2 AI大模型相对于传统AD模型的优势

1.4.3 AI大模型对操作系统的影响

1.4.4 AI大模型对SOA架构/仿真设计/SoC设计的影响

1.4.5 AI大模型对自动驾驶开发的影响

1.4.6 AI大模型演进趋势1

1.4.7 AI大模型演进趋势2

1.4.8 智能汽车行业AI大模型的痛点分析与解决思路

1.4.9 AI大模型的现存问题

1.4.10 Sora文本生成视频大模型对智能汽车行业的影响分析与预测

1.4.11 AI计算芯片设计的痛点和应对措施

1.4.12 AI大模型：人机融合决策控制的新突破

1.4.13 AI大模型对汽车智能化的影响总结（1）

1.4.14 AI大模型对汽车智能化的影响总结（2）

1.4.15 AI大模型对汽车智能化的影响总结（3）

1.4.16 AI大模型对汽车智能化的影响总结（4）

1.4.17 AI大模型对汽车智能化的影响总结（5）

1.4.18 AI大模型对汽车智能化的影响总结（6）

02

AI大模型对汽车硬件层的影响

2.1 AI大模型对芯片设计和功能的影响

2.1.1 AI大模型对芯片的影响趋势（1）

2.1.2 AI大模型对芯片的影响趋势（2）

2.1.3 AI大模型对芯片的影响趋势（3）

2.1.4 LLM大模型对智能汽车SoC设计范式的变革

2.1.5 案例1

2.1.6 案例2

2.1.7 NVIDIA自动驾驶DRIVE系列芯片

2.1.8 案例3

2.1.9 AI大模型对座舱芯片设计和规划的影响

2.1.10 案例4

2.2 AI大模型对ADAS传感器和感知系统开发的影响

2.2.1 大模型驱动：感知能力融合与共享的演进趋势

2.2.2 案例5

2.2.3 案例6

03

AI大模型对汽车SOA架构/操作系统的影响

3.1 AI大模型对SOA/EE架构的影响

3.1.1 EE架构演进的驱动因素

3.1.2 AI大模型对算力需求也推动EE架构进化

3.1.3 多模态大模型与EE架构3.0

3.1.4 从大模型Agent技术看SOA发展方向

3.1.5 案例1

3.2 AI大模型对操作系统设计和开发的影响

3.2.1 AI大模型如何影响OS（1）

3.2.2 AI大模型如何影响OS（2）

3.2.3 AI大模型如何影响OS（3）

3.2.4 案例2

3.2.5 案例3

3.2.6 案例4

3.2.7 案例5

3.2.8 案例6

04

AI大模型对汽车数据闭环/仿真系统的影响

4.1 AI大模型对数据闭环的影响

4.1.1 数据驱动的自动驾驶系统

4.1.2 数据驱动与数据闭环

4.1.3 大模型在智能驾驶的应用

4.1.4 长安数据闭环

4.1.5 东信创智云端数据闭环解决方案SimCycle

4.1.6 华为盘古大模型与数据闭环

4.1.7 华为盘古大模型如何赋能自动驾驶开发平台

4.1.8 商汤数据闭环方案

4.1.9 觉非科技采用地平线芯片与大模型完成数据闭环

4.2 AI大模型对仿真系统的影响

4.2.1 自动驾驶视觉大基础模型VFM

4.2.2 Sora与Tesla FSD-GWM视频生成能力对比分析

4.2.3 Sora与LLM对比

4.2.4 Sora与ChatSim对比

4.2.5 多模态基础大模型

4.2.6 生成式世界模型GAIA-1系统架构

4.2.7 案例1

4.2.8 案例2

4.2.9 案例3

4.2.10 案例4

05

AI大模型对自动驾驶和智能座舱的影响

5.1 AI大模型对自动驾驶的影响

5.1.1 自动驾驶AD基础大模型：应用场景与战略意义

5.1.2 自动驾驶AD基础大模型：典型应用

5.1.3 自动驾驶AD基础大模型：典型应用和局限性分析

5.1.4 自动驾驶AD基础大模型：主要适配场景与应用方式

5.1.5 自动驾驶视觉基础大模型VLM/MLM/VFM：行业适配场景与主要应用

5.1.6 自动驾驶AD基础大模型：适配场景案例

5.1.7 自动驾驶视觉大模型：数据表征方式与主要应用

5.1.8 智驾域控的演进趋势

5.1.9 多模态大模型智驾应用

5.2 AI大模型在自动驾驶的应用案例

5.2.1 案例1

5.2.2 案例2

5.2.3 案例3

5.2.4 商汤Drive-MLM：世界模型构建

5.2.5 商汤Drive-MLM：多模态生成式交互

5.2.6 案例4

5.2.7 案例5

5.2.8 案例6

5.2.9 高通混合式AI：在智驾中的应用

5.2.10 高通AI模型库

5.2.11 案例7

5.2.12 案例8

5.3 AI大模型对座舱域控的影响

5.3.1 多模态基础大模型

5.3.2 大模型对交互设计的影响：数据分析与决策

5.3.3 大模型对交互设计的影响：通过自主学习提供个性化服务

5.3.4 案例1

5.3.5 案例2

5.3.6 案例3

5.3.7 案例4

5.3.8 案例5

06

AI AGENT与汽车

6.1 什么是AI AGENT

6.2 AI AGENT的发展方向

6.3 AI AGENT的智能汽车应用趋势

6.4 AI AGENT的汽车应用案例

更多佐****思报告

报告订购及合作咨询联系人:

赵先生：18702148304（同微信）

廖女士：13718845418（同微信）

佐思2024年研究报告撰写计划

智能网联汽车产业链全景图（2023年2月版）

48V低压供电网络研究	汽车舒适系统	汽车信息安全研究
8295座舱域控制器拆解	两轮车智能化	车用RISC-V研究
L3/L4级自动驾驶和初创企业	汽车软件业务模式	一体化电池
L2/L2+自动驾驶	软件定义汽车	汽车操作系统
舱内监控研究	AUTOSAR研究	线控制动研究
车载视觉研究	E/E架构	转向系统
汽车多模态交互	多域计算研究	商用车智能底盘
车载语音	座舱域控	乘用车底盘域控
手势交互	自动驾驶域控	线控底盘
座舱设计趋势	车身(区)域控研究	滑板底盘
座舱娱乐研究	多域计算和区域控制器	电控悬架
TSP与应用服务	电驱动与动力域研究	智能转向关键组件
智能座舱Tier1	热管理系统	OTA研究
智能座舱平台	行泊一体研究	汽车网关
座舱多屏与联屏	舱泊一体	汽车云服务研究
仪表和中控显示	舱行泊融合	汽车数字钥匙
座舱SoC	HUD产业研究	路侧智能感知
自动驾驶SoC	HUD产业链	路侧边缘计算
冗余系统	HUD季报	无线通讯模组
本土车企ADAS	乘用车T-Box	汽车5G融合
国外OEM ADAS研究	商用车T-Box	车载天线
ADAS与自动驾驶Tier1-国内	T-Box排名分析	V2X和车路协同
ADAS与自动驾驶Tier1-国外	汽车电子代工	车内通信芯片
智能驾驶Tier1前10强对比	高精度定位	汽车MCU研究
主机厂车型规划研究	自动驾驶地图	汽车CIS研究
汽车模块化	AI大模型及自动驾驶智算中心	汽车VCU研究
主机厂海外布局	汽车AI大模型研究	汽车UWB研究
ADAS域控制器关键组件	自动驾驶融合算法	传感器芯片
域控制器排名分析	汽车视觉算法	电源管理芯片
自动驾驶重卡	车载摄像头Tier2	车载存储芯片
商用车ADAS	环视市场研究(本土篇)	汽车功能安全
商用车智能座舱	环视市场研究(合资篇)	电子后视镜
商用车车联网	红外夜视	智能表面
商用车智能底盘	自动驾驶仿真(国外)	智能车门
新势力品牌车联网	自动驾驶仿真(国内)	智能玻璃
合资品牌主机厂车联网	车用超声波雷达	车载香氛与空气净化系统
自主品牌主机厂车联网	激光雷达研究	车载无线充电
车型供应商调研	激光雷达核心部件	车载支付
蔚来丰田长城车机和座舱域控拆解	毫米波雷达	汽车线束
大疆前视双目与图达通激光雷达拆解	Radar拆解	汽车音响
蔚来ET5/ET7智能化功能拆解	激光和毫米波雷达排名	汽车座椅
理想L8/L9功能拆解	矿山自动驾驶	汽车照明
小鹏G9功能拆解	无人接驳车	800V高压平台
PBV及汽车机器人	无人配送车	固态电池
飞行汽车	无人零售车研究	燃料电池
自动驾驶标准与认证	农机自动驾驶	充换电基础设施
自动驾驶法规	行车记录仪	汽车电机控制器
上海车展75项趋势	汽车eCall系统	混合动力报告
数字仪表OS	汽车EDR研究	汽车PCB研究
数据闭环研究	智能汽车个性化	IGBT及SiC研究
一体化压铸	汽车功率电子

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

-END-

---

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓