主要内容包括:
-
实时计算在蔚来的发展历程
-
实时计算平台
-
实时看板
-
CDP
-
实时数仓
-
其他应用场景
一、 实时计算在蔚来的发展历程
-
18 年 5 月份左右,我们开始接触实时计算的概念,最初是用 Spark Streaming 做一些简单的流式计算数据的处理;
-
19 年 9 月份我们引入了 Flink,通过命令行的方式进行提交,包括管理整个作业的生命周期;
-
到了 21 年 1 月份,我们上线了实时计算平台 1.0,目前正在进行 2.0 版本的开发。
二、实时计算平台
在实时计算平台 1.0,我们是通过将代码进行编译,然后上传 jar 包到一个服务器上,以命令行的方式进行提交。这个过程中存在很多问题:
-
首先,所有流程都是手动的,非常繁琐而且容易出错;
-
其次,缺乏监控,Flink 本身内置了很多监控,但是没有一个自动的方式将它们加上去,还是需要手动地去做配置&#x