吉利汽车集团
01
精准洞察业务先机,吉利汽车推动企业大数据平台建设
随着业务发展需要,吉利汽车自 2017 年开始组建大数据团队,最早基于 Oracle 构建数仓,2018 年落地以 Hadoop 生态发行版 HDP(Hortonworks Data Platform)构建的大数据平台,同时 2019 年上线自研的大数据开发治理平台·iGData。
![060f317835a580bdb8c66d61b39f677a.jpeg](https://i-blog.csdnimg.cn/blog_migrate/4f253f8a5ca912d03b2233fea17c9b49.jpeg)
Hadoop + iGData 组成的吉利大数据平台(简称:GDMP) 1.0 具备数据采集、低代码开发、任务调度、数据地图、质量监控、数据服务等能力,成为吉利汽车第一代大数据基座与数据开发治理平台,承载了研、产、供、销、服全链路业务线。
业务发展提速,大数据 1.0 平台面临挑战
在汽车电动化、智能化、网联化、共享化发展潮流下,车联网数据年度以 PB 级增长,业务场景覆盖面越来越广,大数据平台累计任务数已达数万。业务快速发展对大数据计算能力、存储能力等场景提出更高、更多样化的诉求。GDMP 1.0 架构平台面临计算、存储、调度等方面的挑战。
GDMP 1.0 技术栈
业务的快速发展与数据规模的暴增对大数据团队提出更高的交付效率与成本控制的要求。基于上述要求,吉利汽车启动了新一代 LakeHouse 湖仓融合的技术架构调研。
02
基于镜舟数据库构建服务实时统一、成本可控的大数据治理生态
2020 年 12 月,吉利汽车开始对 StarRocks 进行 POC 测试,并经历了大规模测试和前期业务上线的检验。在实际业务应用中,企业也需要考量数据库长期的技术支持和稳定性。
因此,吉利汽车最终选定了 StarRocks 的商业版产品——镜舟数据库作为链接业务与技术的桥梁,替换 ClickHouse、Impala、Trino 等产品,实现 OLAP 层的极速统一,同时开启了吉利汽车新一代 LakeHouse 湖仓融合的大数据 2.0 时代。
![083af1009bf7b9353720a3cb53cf1c8e.jpeg](https://i-blog.csdnimg.cn/blog_migrate/6d3c56aaadd5c0ba2127a0a1e651eabc.jpeg)
GDMP 2.0 技术栈
报表极速分析、经营指标实时展现
随着数据治理的基础设施逐渐完善,数据优化业务也成为可能。
吉利汽车开始将大数据的能力应用到业务领域的实时场景中,着力解决不同领域、不同层级庞大规模的生产管理人员查看实时跟踪需求,深度挖掘数据潜力、洞察用户需求,旨在为研、产、供、销、服各个领域,各个阶段提供极速数据响应,提升业务分析能力。
当前在镜舟数据库中,数据查询分析的效率得到了大幅提升。
其中,利用镜舟数据库湖仓融合新范式,通过物化视图、联邦查询能力,单表 480 亿,行大小 1k ,物化视图具备 10s 内完成刷新能力,业务基于镜舟数据库自助生成所需数据,以实现数据自助化、自动化,高效率满足业务诉求。
统一、实时的镜舟数据库全面应用,为业务长线获益
目前,吉利汽车在镜舟数据库集群近 25 节点规模,承载总数据规模达到 70 TB,上线运行了集团项目达 51 个,遍布研、产、供、销、服各个业务线,单表数据量达百亿,业务自助开发的报表达 2000+,报表查询平均耗时在 100-200 ms。
![543bfe8926b1c2cadfa0c7384fc5e029.jpeg](https://i-blog.csdnimg.cn/blog_migrate/3fb67dfb2db3463c972a29a1bc109363.jpeg)
- 利用镜舟数据库统一业务入口,解决以往多组件综合利用才能满足业务的痛点;
- 镜舟数据库的高性能计算引擎将数据服务效率提升 30%,对外提供的数据服务访问时效基本在毫秒级别,大大降低了业务的查询等待时间;
- 利用镜舟数据库 Catalog 轻松访问各类数据源,实现集团内部的数据联邦计算,同时配合视图功能,一个工程师即可完成业务场景的开发,省去繁琐建模等过程,对于临时紧急场景能够提供有效支撑,极大缩短开发时间;
- 镜舟数据库已应用到售后、研发等 500+ 场景、预警和预测 50+ 场景应用、业务自主 DT 等 300+ 场景应用,为数据场景提供全面、实时数据支持;