智能座舱发展阶段和系统架构

本文来自机械工业出版社出版的《智慧城市与智能网联汽车,融合创新发展之路》一书。继文章《一文详解智能网联发展阶段和关键技术》《智能网联应用场景、应用实践和发展趋势》《一文详解自动驾驶关键技术》一文详解自动驾驶应用场景和发展趋势,本篇介绍智能座舱发展阶段和系统架构

座舱一词由飞机和船舶行业引进而来,“舱”指飞机或船的内部空间,舱体则可分为驾驶舱、客舱、货舱等。而汽车座舱可以简单理解为传统的驾驶舱和客舱的组合,也就是车内的驾驶和乘坐空间。智能座舱则是随着智能汽车而产生的,是指配备了智能化和网联化的车载产品,从而可以与人、路、车本身进行智能交互的座舱,是人车关系从工具向伙伴演进的重要纽带和关键节点[1]

现阶段智能座舱的发展主要涵盖座舱内饰和座舱电子领域的创新与协同,从消费者应用场景角度出发而构建的人机交互体系,通过人机界面的设计与技术创新,提供更加智能、便捷和舒适的用户体验。未来智能座舱的形态将是“智能移动空间”,在5G和车联网广泛应用普及的前提下,汽车座舱将摆脱仅仅局限于“驾驶”这一单一场景,演变为集“家居、娱乐、工作、社交”为一体的移动空间。

(一)智能座舱发展阶段

汽车座舱由传统驾驶舱朝着智能化、数字化方向发展,根据汽车自动驾驶分级,智能座舱的发展大致可分为电子座舱、智能助理、人机共驾,以及智能移动空间4个阶段,当前正处于由智能助理向人机共驾阶段发展[2]

1.电子座舱阶段

电子座舱阶段起步于车载信息娱乐系统,最早可追溯1924年的车载收音机;随后,2001年宝马引入中央显示屏,中央显示屏开始进入汽车座舱;然后,2006美国开放了民用化的GPS系统,基于触屏显示的车载功能成为推动座舱电子化发展的重要动力;此后,2018年来自伟世通和安波福两个主流的电子座舱域控制器方案开始推向市场。

本阶段智能座舱的进展主要集中在基础技术层面,通过将汽车的电子信息系统逐步整合,组成“电子座舱域”,并形成系统分层,决定了汽车新的软硬件定义方法。在这个阶段,传统分散的座舱体系逐步发展融合成为一个集合整体,衍生出后续的多屏联动、多屏驾驶等复杂座舱功能,这也催生出座舱域控制器这种域集中式的计算平台。硬件的整合在成本和技术两个方面体现出价值。首先,集成化的硬件方案可以减少功能复杂化后带来的座舱硬件成本上升。其次,集中式的方案可以统一通信架构,降低设计难度,并提高技术效率。

2.智能助理阶段

在智能助理阶段,生物识别技术和人机交互技术的加入推动了驾驶员监控设备的迭代和车辆内部感知能力的增强。在这个阶段,车辆设置了独立的感知层并升级了交互功能,从而使车辆的环境感知、决策和控制能力逐渐增强。

首先,独立感知层的形成使车辆能够“感知”并“理解”驾驶员。智能座舱通过独立感知层,可以获取车内的视觉(光学)数据、语音(声学)数据以及来自车辆底盘和车身的信息,例如方向盘、制动踏板、油门踏板、档位和安全带等,然后再通过生物识别技术,如人脸识别和语音识别,综合判断驾乘人的生理状态和行为状态,实现对驾驶员的“理解”。并根据具体场景,提供“车对人”的主动交互,减轻驾驶员在驾驶过程中“人对车”的负担,并有效改善交互体验。

其次,交互方式得到了升级,车内的交互手段不再局限于传统的“物理按键交互”(硬开关),而是发展到了多种交互方式并存的状态,包括“触屏交互”(软开关)、“语音交互”和“手势交互”等。尤其是随着自动驾驶对车内视觉感知要求的不断提高,基于视觉的驾驶员监控技术在车舱内得到更加快速的落地应用,而这种技术的普及,大大增强了智能汽车的感知能力,并推动了智能助理的前身——多模交互技术在智能座舱中的落地实现。

3.人机共驾阶段

此阶段,随着电子电气架构由采用分布式架构的ECU向域控制器过渡,自动驾驶等级的提高以及车载信息娱乐系统的算力增强,ADAS也得到增强。在这些关键因素驱动下,车辆可在上车-行驶-下车的整个用车周期中,主动感知驾乘人需求,并为驾乘人主动提供个性化、场景化的服务。在某些情况下,系统通过对车内外传感器收集的数据进行分析,自动激活车辆的功能,实现车辆初步的自主或半自主决策。智能座舱还可对大量的车外道路环境信息进行筛选,并结合车内指令(如目的地选择)进行优先级判定,并将最重要的信息呈现给驾驶员。此外,智能座舱还能基于车内感知系统(Intelligent Video Surveillance ,IVS),监测驾驶员健康状况与行为,并给予相应的提醒。

同时,随着座舱域、动力域和底盘域的相互融合,达到足够功能安全等级后,座舱控制域可以直接调用自动驾驶域的驾驶服务,进行车辆的驾驶控制,实现人机共驾新模式。经过对座舱域系统的系统架构和软硬件的安全升级,智能助理将弥补“驾驶控制”这个最后的短板,朝着成为“全能智能助理”的目标迈进。

在人机共驾阶段,语音控制和手势控制技术实现了突破,车内感知和车外感知的结合使得智能汽车实现了车辆感知精细化,这一阶段的特点是将座舱与自动驾驶技术高度集成,弱化了对驾驶员的驾驶要求。

4.智能移动空间阶段

智能移动空间阶段也称作第三生活空间阶段,该阶段座舱与自动驾驶技术高度集成,弱化了对驾驶员的驾驶要求,而是以用户为中心,使用场景将更生活化、丰富化,具备娱乐、生活、信息、互联等多方位场景化功能,为用户提供更加随心、愉悦、便捷的沉浸式体验。

在这个阶段,将基于车辆位置,融合信息、娱乐、订餐、互联等功能,为消费者提供更加便捷的体验,包括但不限于提供出行规划、主动订餐、智能内容推送、影音娱乐、自动停车+充电+找车、自动付费等服务,在这种环境下,驾乘人员在车上就可以体验线上线下的无缝联动,享受便利的服务。此时,车辆被视为“第三生活空间”,带有独特的移动属性,它不仅是一个交通工具,还是一个具有独特功能的生活空间,使消费者能够在移动中享受与传统生活场所相似的便捷和舒适,为消费者带来更加便利、愉悦的体验,使他们能够在移动的同时完成各种任务和享受多样化的娱乐与生活体验。

目前智能座舱正处于由智能助理阶段向人机共驾阶段发展。在硬件方面,座舱内部的实体按键被简化,大屏化、多屏化趋势显著;在软件方面,语音交互技术被广泛应用,人脸识别技术和手势识别技术也被尝试,座舱所能实现的功能趋于多样化[3]。随着自动驾驶技术的不断进步,智能座舱将不断优化现有功能,确保用户数据安全以及座舱布局更人性化和合理化,为驾驶员和乘客带来更智能、便捷和个性化的驾乘体验。

(二)智能座舱系统架构

智能座舱的系统架构主要由底层硬件层、中间软件层和上层服务层构成[4],如图1所示。

图1 智能座舱系统架构图

底层为硬件层,包括座舱系统所需的硬件组件,如摄像头、麦克风阵列、内嵌式存储器(磁盘)(Embedded Multi Media Card,EMMC)、内存 (Double Data Rate SDRAM,DDR SDRAM)等,这些硬件组件负责采集、处理和存储座舱系统所需的数据。

中间层为座舱系统的核心部分,包含系统软件层和功能软件层。系统软件层包括操作驾驶域系统驱动(Linux SPI)和座舱域系统驱动(Android SPI),这些系统驱动负责底层硬件的管理和控制,以及与上层系统的交互。功能软件层包括感知软件、控制模型、决策中心、车机服务,其中感知软件包括与智能驾驶公用部分的感知软件和智能座舱自身域的感知软件等,用于从车辆和座舱的传感器数据中提取、分析和处理有效信息;控制模型则基于感知的信息执行相应的控制策略;决策中心可通过感知SDK建立场景SDK进而开展对应的智能决策;车机服务包括系统控制、车身控制、数据服务、OTA、底盘状态及车身数据等内容。

上层为服务层,这一层提供了与用户交互和服务的接口,包含启用摄像头人脸识别、语音识别、数据服务、场景网关、账号鉴权功能等,这些服务通过与用户的互动,提供个性化和智能化的座舱体验。

右侧支撑层是支撑软件的快速开发工具,也称成长平台,它提供了开发、测试、部署和管理座舱系统的工具和环境,用于加速软件的开发和迭代。

这种系统架构使得智能座舱能够有效集成和管理座舱内各种硬件设备和软件功能,并提供丰富的体验和服务选项。同时,底层硬件、中间层软件和上层服务之间的分层关系也使得系统的维护和升级更加灵活。

参考文献

[1] 亿欧智库.2019汽车智能座舱产业发展研究报告[N].2020,01.

[2] 地平线.2019年智能座舱发展趋势白皮书[N].2019,12.

[3] 郁淑聪,孟健,张渤.浅谈汽车智能座舱发展现状及未来趋势[J].时代汽车,2021(05):10-11.

[4] 智能交通技术.智能座舱架构与功能开发流程详解[EB/OL].2021,10. https://blog.csdn.net/weixin_55366265/article/details/120775964

购书链接

您也可直接点击下方链接,进入机械工业出版社官方商城直接购买。京东、当当、天猫各大电商也已上线。

推荐阅读

《5G与智慧交通,加速未来出行大变革》

《车联未来:5G车联网创新商业模式》

《从云端到边缘:边缘计算的产业链和行业应用》

《5G与车联网技术》

好书推荐

01

图片

本书由吴冬升、李大成担任主编,机械工业出版社出版。书中在分析智慧城市重点建设内容和智能网联汽车重点发展内容基础上,进一步探讨智慧城市与智能网联汽车融合发展带来的车联网智能道路基础设施、新型能源基础设施、地理位置网、现代信息通信网、车城网平台建设和发展情况。并且介绍智慧城市与智能网联汽车融合创新发展的相关案例。了解详情请点击:【新书推荐】《智慧城市与智能网联汽车,融合创新发展之路》

图片

吴冬升 博士

▼点击下图链接购买

02

图片

本书由吴冬升、董志国两位博士主编,机械工业出版社2023年隆重出版。书中详细分析5G、智慧交通及自动驾驶的现状及发展趋势, 阐述城市公共交通、共享出行、智慧物流的最新进展。了解详情请点击:新书上架!《5G与智慧交通,加速未来出行大变革》

▼点击下图链接购买

图片

03

图片

继2020年《5G与车联网技术》、2021年《从云端到边缘:边缘计算的产业链和行业应用》出版之后,吴冬升博士带领「5G行业应用」作家团队推出又一力作——《车联未来:5G车联网创新商业模式》。本书由化学工业出版社出版,聚焦5G车联网商业模式,探索车联网未来可持续性发展之路。了解详情请点击:《车联未来:5G车联网创新商业模式》

▼点击下图链接购买

关于我们

「5G行业应用」是聚集TMT行业资深专家的研究咨询平台,致力于在5G时代为企业和个人提供客观、深入和极具商业价值的市场研究和咨询服务,帮助企业利用5G实现战略转型和业务重构。本公众号专注提供5G行业最新动态及深度分析,覆盖通信、媒体、金融、汽车、交通、工业等领域。

图片

<think>嗯,用户问的是相机系统的内外参矩阵怎么确定。首先,我需要回忆一下相机标定的基本知识。用户之前已经询问过双目相机的使用,现在转向了更具体的标定步骤,可能是他们在实际应用中遇到了标定问题,或者想要深入了解如何实际操作。 首先,内外参矩阵的定义。内参矩阵涉及相机本身的属性,比如焦距、主点坐标、畸变系数等。外参矩阵则涉及相机在空间中的位置方向,也就是旋转平移矩阵。确定这些参数通常需要相机标定,而标定方法一般使用已知的校准板,比如棋盘格。 接下来,我需要分步骤解释标定过程。用户可能需要一个清晰的步骤指南,包括准备标定板、采集图像、角点检测、优化参数等。同时,要提到常用的工具,比如OpenCV或MATLAB,这样用户知道有哪些工具可以使用。 还要注意用户可能的疑问点,比如为什么需要多个角度的图像,畸变校正的作用,以及如何评估标定结果的准确性。此外,可能需要简要说明内参外参的具体应用,比如内参用于图像矫正,外参用于三维重建。 另外,用户之前的问题涉及双目相机,这里可能需要稍微关联一下,比如在双目系统中,内外参标定也包括两个相机之间的相对位置,但这个问题可能集中在单相机的情况,或者需要明确说明如果是双目,则需要额外的步骤,比如标定两个相机之间的外参。 需要确保回答结构清晰,步骤明确,语言通俗易懂,避免过于专业的术语,但又要准确。可能还需要提到标定结果的评估,比如重投影误差,让用户知道如何验证标定的效果。 最后,检查是否有遗漏的关键点,比如张正友标定法,作为常用的方法,是否需要简要介绍。确保覆盖了标定的主要流程,工具推荐,以及内参外参的应用场景,帮助用户全面理解如何确定内外参矩阵。</think>相机系统的**内参矩阵****外参矩阵**是描述相机成像几何特性的核心参数,需通过**相机标定**确定。以下是具体方法及步骤: --- ### **1. 内参矩阵(Intrinsic Matrix)** **定义**:描述相机内部属性,如焦距、主点坐标、畸变系数等。 **公式**: $$ K = \begin{bmatrix} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{bmatrix} $$ 其中,$f_x, f_y$为焦距(像素单位),$(u_0, v_0)$为主点(图像中心偏移)。 #### **标定方法**: 1. **准备标定板**: 使用已知尺寸的棋盘格(如 8×6 黑白方格),其角点坐标在三维世界坐标系中已知。 2. **采集多角度图像**: 用相机从不同角度拍摄标定板(通常需要 10~20 张),确保标定板覆盖图像的不同区域。 3. **角点检测与匹配**: 利用算法(如OpenCV的`findChessboardCorners`)检测图像中的棋盘格角点,并与标定板的实际角点坐标对应。 4. **优化求解内参**: 通过**张正友标定法**(Zhang’s Method),建立投影方程: $$ s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = K \begin{bmatrix} R & t \end{bmatrix} \begin{bmatrix} X_w \\ Y_w \\ Z_w \\ 1 \end{bmatrix} $$ 结合最小二乘法或非线性优化(如Levenberg-Marquardt算法),求解 $K$ 畸变参数(径向畸变 $k_1, k_2$,切向畸变 $p_1, p_2$)。 --- ### **2. 外参矩阵(Extrinsic Matrix)** **定义**:描述相机在世界坐标系中的位置姿态(旋转矩阵 $R$ 平移向量 $t$)。 **公式**: $$ \begin{bmatrix} R & t \end{bmatrix} = \begin{bmatrix} r_{11} & r_{12} & r_{13} & t_x \\ r_{21} & r_{22} & r_{23} & t_y \\ r_{31} & r_{32} & r_{33} & t_z \\ \end{bmatrix} $$ #### **标定方法**: 1. **基于标定板坐标系**: 在标定过程中,标定板的角点被定义在世界坐标系(例如 $Z_w=0$ 的平面),通过内参图像坐标反推外参。 2. **求解旋转平移**: 每张标定板图像对应一组外参。通过**PnP算法**(Perspective-n-Point),利用已知的 3D-2D 点对应关系,求解 $R$ $t$。 --- ### **3. 标定工具与流程** - **常用工具**: - OpenCV(`cv2.calibrateCamera`函数) - MATLAB相机标定工具箱 - ROS的`camera_calibration`包 - **步骤总结**: 1. 准备标定板并采集多角度图像; 2. 检测图像角点并建立与3D点的对应关系; 3. 调用标定函数优化求解内参、外参及畸变参数; 4. 验证标定结果(重投影误差通常需小于0.5像素)。 --- ### **4. 关键注意事项** - **光照均匀**:避免反光或阴影干扰角点检测; - **标定板覆盖范围**:图像边缘区域需包含角点以提高精度; - **畸变校正**:标定后需应用畸变参数(如`cv2.undistort`)矫正图像。 --- ### **应用示例** - **内参用途**:图像去畸变、像素坐标转相机坐标; - **外参用途**:多相机联合标定(如双目系统)、物体位姿估计。 通过上述方法,可准确标定相机参数,为后续三维重建、SLAM等任务提供基础。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值