前沿分享｜上海市新能源汽车数据平台 王成名： 车联网全景监控数据时空超融合数据库方案

简介：本篇内容为2021云栖大会-企业级云原生数据库最佳实践论坛中，上海市新能源汽车数据平台 王成名关于“车联网全景监控数据时空超融合数据库方案”的分享。

上海市新能源汽车公共数据采集与监测研究中心技术总监——王成名

本文将通过三个部分来介绍车联网全景监控数据时空超融合数据库方案。（基于2021云栖大会“企业级云原生数据库最佳实践”分论坛演讲内容整理而成）

一、数据中心平台业务简介

二、平台技术架构

三、平台愿景与目标

一、数据中心平台业务简介

首先，我简单介绍下我们的组织以及我们所做的业务。我们是做上海市新能源汽车数据中心。我们所做的业务是接入全上海市所有新能源汽车的数据，包含乘用车、商用车、物流、大巴等电动汽车数据的全接入。目前我们平台接入数据量接近60万辆车。我们的数据规模已经接近1.5个PB，上图是我们的监管大数据平台。

我们数据接入是按照新能源汽车安全监管32960进行数据采集，其中包含38项静态数据和80多项的动态数据。包括以车辆VIN码为基础的整车数据、发动电机、驱动电机、电池以及报警等8大类数据。这些数据是典型的物联网时序数据。我们需要对这些数据进行存储分析并应用。

同时，我们是多元的数据架构，我们不但有政府委托的数据采集管理，还有国际合作项目。我们有新能源汽车数据平台、氢能源车站一体化平台、电池溯源管理平台、可再生能源管理平台以及智能网联汽车管理平台。我们的目标是要努力建设成为世界级汽车产业中心的核心数据中心。

我们基于数据面向政府，为政府政策的制定、执行和后评估提供有效数据支撑，比如新能源汽车推广报告、政府公共充电桩的选址和部署、节能减排成效评估、安全事故回溯等场景提供数据支撑。我们还面向市场和行业提供增值服务，比如汽车后市场二手车销售、电池回收以及保险产品的设计等场景提供数据产品服务。我们也面向高校和科研机构提供数据开放的服务，我们希望我们的数据能够更大程度服务行业。

二、平台技术架构

整体数据架构，我们基于开源Hadoop体系构建，数据链路里应对不同场景选择不同的架构。我们的数据是多源异构的，有结构化数据，半结构化数据，物联网时序数据，文件数据等。根据不同的数据特性，我们选择不同的存储引擎。我们构建了多协议数据采集平台。我们有基于netty实现的数据网关接入，消息队列( Kafka )，文件日志( flume )和数据接口API。数据存储有静态数据(RDS )，高速缓存( Redis )，热存储( Hbase ），温存储（HDFS），冷存储（OSS）等。然后我们提供基于spark引擎的数据分析和场景化应用。

上图是我们原有的技术架构（基于Hadoop构建的数据仓库），当前大部分互联网行业大家都会选用类似架构。很难有统一引擎解决掉数据存储问题。除此之外，现有技术无法对时序数据进行有效分析。为了有效分析，我们需要把物联网时序数据转化成结构数据来实现数据分析，这样可以简化分析，且可以满足我们绝大部分的业务场景。

我们应对不同的场景选择的这些架构，但这些架构也遇到了很多问题与挑战。大概有四个方面。第一，技术栈复杂，多组件融合搭配导致技术栈高度复杂，维护成本高。第二，存储碎片化。数据同步机制实现和维护，数据查询维护以及数据生命周期管理导致数据高度冗余。第三，开发门槛高。不同技术栈所用不同开发语言及工具开发门槛高，难以标准化。第四，平台扩展性挑战。我们在容量规划，资源利用率，扩缩搬迁都有很多挑战。

经过多个产品的对比之后，我们最终选用了阿里云Lindorm平台。核心数据存储使用多模数据存储到Lindorm（结构化、半结构化、时序数据等），数据分析依然使用Lindorm平台提供的spark模块。阿里云Lindorm的优势在于低成本，高可用，弹性灵活，自动数据冷热分离，并且满足低延迟。

阿里云Lindorm平台系统架构实现了端到端的产品一体化,大幅减少开发与维护成本,提升易用和稳定性。支持HBase的增量数据实时自动归档为Parquet格式,并定期合并、清洗,供Spark分析。Spark分析结果以 BulkLoad回流到HBase。能力产品化封装,支持通用API调用,并具备自动容错、分布式扩展、监控报警、高性能等能力。

三、平台愿景与目标

我们举一个案例谈谈汽车数据的价值，我们曾经做过一个场景，我们基于数据做了一个交通事故的还原，我们把车和路网结合匹配，通过数据分析，发现车主在某个时间点，既踩了油门又踩了刹车导致了事故的发生。如果没有这个数据的分析，很难定责是车辆故障问题、还是用户驾驶行为问题。类似场景在事故鉴定中经常碰到，数据的价值也得以体现。

 

另外新能源汽车退役，它具有一定的剩余价值。但要怎么去评判新能源汽车的剩余价值？我们利用汽车的数据可以对用户驾驶行为和电池性能做分析。所以我们和合作伙伴共同开发一个app，基于我们的数据去对汽车做残值评估。首先需要作为个人授权你的汽车数据，然后我们可以预测你的车子还可以跑多少公里，电池残值还有多少，从而服务于汽车后市场，这是一个很典型的应用。

接下来说说我们的愿景和目标。我们希望基于大数据应用开放平台构建一个开放的数据生态。一个基于新能源汽车、智能网联汽车数据的数据中台。我们致力于将有价值的数据以及具有特征标签的数据，再加上我们的数据算法包，都集中在这个平台之上。我们希望上下游包括政府、研究机构及其相关产业都可以用我们的数据和平台，互利共赢。

随着新能源的全面普及，大数据在交通安全、以及节能减排等领域起到很重要的作用。我们希望在交通安全、能源各个层面以共建，共享，共治的方式，和大家共同构建这个平台，为行业赋能。

 

原文链接：https://developer.aliyun.com/article/805686?

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。