DolphinScheduler×长安汽车 | 千万级数据接入能力智能网联汽车云平台引进核心调度系统...

点击蓝字 关注我们

用户案例 | 长安汽车

长安汽车智能车云平台，网联车日活达百万级，车联网平台日均接收信号条数达百亿级。面对海量车联网数据分析的挑战，长安汽车建设了一套具备千万级数据接入能力的智能网联汽车云平台。为保证智能汽车数据类业务的开展，长安汽车从初试到深度使用（1.1.0开始投产），选择DolphinScheduler作为数据平台的核心调度系统，实现数据任务的灵活编排、调度，赋能智能汽车产品研发、故障诊断等业务。

01

业务挑战

当今，随着长安汽车向智能低碳出行科技公司的转型，智能网联车数据规模变得越来越庞大。同时，新能源车型的逐步接入为TSP平台的数据接入和分析能力带来了新的挑战。这种变化的显著特征是常规信号采集时间从30秒降至秒级甚至毫秒级，单车数据量也呈现出指数级增长。因此，为了解决这一业务挑战，我们需要采取一系列措施来优化数据采集系统，提高数据处理能力，确保长安汽车能够顺利实现转型目标。

为应对百万级车辆海量车况数据、埋点数据的高效传输、存储、处理，长安汽车软件科技公司经过主流产品选型对比后，长安汽车引入DolphinScheduler作为智能网联业务的核心调度引擎，主要应用场景包括：

1. 混合云架构数据流转：在混合云架构下保证数据稳定流转、数据周期性双向传输；

2. 分析数据统一调度：当前私有云分析集群的离线ETL任务结果，中间数据或结果数据需要定期调度导入MPP分析型数据库；

3. AI赋能模型预测：管理AI预测模型，构建定时任务工作流，保证从源头数据输入到最后预测结果输出的周期性运行；

4. 数据集成对外同步：配搭数据集成工具实现多源数据集成，构建统一数据平台，定时数据转发，形成数据流转。

02

解决方案

01

混合云数据流转

长安汽车目前采用混合云架构，公有云存储近期热数据，私有云存储全量数据。私有云需周期性拉取公有云热数据，进行增量存储与数据分析。公有云业务集群需定期获取私有云分析数据，提供业务数据支撑。

在混合云架构下，在如何保证数据稳定流转、数据周期性双向传输这一问题上，长安汽车采用DolphinScheduler通过跨集群网关机的方式，管理云上云下两套集群。通过一套Web端的调度实例构建，实现私有云分析集群周期调度从公有云Hbase、Hive、HDFS及时拉取增量热数据，公有云集群针对依赖数据及时获取私有云分析数据。

02

分析数据统一调度

长安汽车目前采用Doris实现BI报表、多维分析等业务场景，主要数据来源为当前私有云分析集群的离线ETL任务结果，中间数据或结果数据需定期调度导入MPP分析型数据库，分析SQL、Py代码统一由Dolphinscheduler资源中心管理，资源文件访问权限划分给不同业务团队，实现分析数据与开发代码统一管理调度。

03

AI赋能模型预测

长安汽车利用Dolphinscheduler管理预测模型，构建定时任务工作流，从集群抽取模型预测所需信号数据，构建数据任务依赖管理，保障预测数据为已预处理数据，到多子模型串联调度预测，再到预测结果整体汇总输出，形成从源头数据输入到最后预测结果输出的周期性运行，赋能车联网智能维保、亏电预测等业务。

04

数据集成对外同步

通过Dolphinscheduler配搭数据集成工具（Seatunnel、Sqoop）实现多源数据集成，构建统一数据平台，对各大事业部同步基础数据、分析数据，监控数据流向，保障数据安全，实现调度平台管理数据定期流入抽取，到对统一外数据同步的数据管理。定时数据转发，形成数据流转。

03

用户收益

1. 混合云架构、私有云与公有云跨集群条件下，实现数据双向传输，支撑数据业务、数据分析、全量数据存储

2. 统一资源文件管理，实现Sql文件、Python代码、预测模型等资源分团队管理

3. 构建了统一数据平台，保障数据流入与转发的安全与和可追溯性

用户简介

长安汽车

所属行业：汽车

长安汽车是中国兵器装备集团有限公司对旗下汽车产业进行整合优化，成立的一家特大型企业集团，是中国四大汽车集团之一，形成了整车、零部件、动力总成、商贸服务四大主业板块，拥有整车制造和零部件供应能力。

< 🐬🐬 >

往期用户案例

☞中国联通改造 Apache DolphinScheduler 资源中心，实现计费环境跨集群调用与数据脚本一站式访问

☞金融任务实例实时、离线跑批，Apache DolphinScheduler 在新网银行的三大应用场景与五大优化

☞BIGO 如何做到夜间同时运行 2.4K 个工作流实例？

☞大数据平台迁移实践 | Apache DolphinScheduler 在当贝大数据环境中的应用

案例征集

社区推出的「优秀用户案例征集」正在火热进行中，我们还在收集更多优秀用户案例哦！如果你也想让自己使用 DolphinScheduler 的经历分享给更过人，欢迎投稿给我们~

投稿邮箱：debra.chen12@gmail.com

或添加小助手微信投稿

参加活动有机会获得精美礼品🎁🎁，包括价值 500 元京东购物卡一张；获推荐参加 Apache 组织的 Summit/Event，如 ApacheCon；所有参与活动者获得社区纪念礼品一份。

戳下图了解详情吧！👇👇

我知道你在看哟