郑昀 创建于2017/6/29 最后更新于2017/6/30
关键词:大数据,Spark,SparkSQL,HBase,HDFS,工作流,任务,Flow,Job,监控报警
提纲:
-
为什么要大数据协作?
-
什么是愿景?
-
我们的DataCube
-
工作流什么样?
DataCube 是数据中心刘奎组推出的大数据协作平台。从2016年3月29日我提出数据中心的大一统平台建设目标至今,已经过去了整整一年零三个月时间。其实在很久以前,基于 Hadoop 集群的单一离线计算任务的上传和管理工作,针对 Mesos 集群、HBase、HDFS 的监控报警,刘奎、王银卡、崔建伟、陈少明、李少杰等人已经开发就绪。但真正要把数据仓库计算方方面面搬进来,仍然等了一年时间,因为在底层,运维工程师们还构建了一个 DataFlash 集群,情况比较复杂。
DataCube,中文名字是魔盒。
当初,我说魔盒主要是围绕着这四个核心概念构建一个体系:
-
资源
-
数据
-
流程
-
操作
什么体系?
-
资源,能看见。
-
流程,能流转。
-
数据,能共享。
-
操作,有记录。
出了问题,随时能通过图形化界面排查。
不需要知道的,都隐藏在黑暗之中,被封装为黑箱。
流程驱动数据,再驱动操作,形成闭环。
在2016年年初,我还对于运维自动化平台 SimpleWay 也提出了我的愿景:
在我的想象中,到了 2016年Q3 所见到的是:
线上配置同步到CMDB且可视化:我能在 SimpleWay 上看到任意一台 Nginx、Redis、MySQL、ElasticSearch、ZooKeeper等的物理信息和配置;
资源的调拨和历史可视化:我能在 SimpleWay 上看到任意一台物理机什么时候采购的、什么时候上架的、在哪个机柜、上面都有什么应用、跑了什么虚拟机、承载了什么容器等等;
资源申请、运维操作的流程化:SA、Dev、QA 对资源的申请,或变更配置,工作流的流转以及操作登记备案。
其实,对未来的这些愿景大同小异,都体现了窝窝和云纵的研发哲学:Don't make me think.
0x00,为什么要大数据协作?
2016年的时候,数据中心虽然有自助式报表、即席查询、数据库变更订阅中心、元数据管理、实时数据大屏等管理工具,即使2017年进一步演变出来了数屏、数据开放实验室,但仍不成体系。
什么叫不成体系?
数据,不能共享。
流程,不能流转。
资源,无法看见。
操作,没有记录。
各个模块各自为战。最令我无法忍受的是,Hadoop 集群的离线计算和实时计算线下部署和线上发布还以手工操作为主。
所以,我着重强调用“流程贯穿”提升研发的生产效率。
0x01,什么是愿景?
我曾经说过,在内部讨论技术平台和体系的时候,不要束缚自己的想象力,不要说因为我现在是这样,所以我按此演进,只能是那样。
NO!
一定要切换到朴素无华的脑力和心态(是的,我喜欢用朴素无华这个词),进入使用者场景,想象怎么才是用起来最舒服的状态,或者你所见过的最应当如此、最顺其自然的流程。
我说,我要如此。
可能,最后真的能如此。
举一个例子:
研发中心的协作平台,申请服务器资源是这个样子:
图1 我们这样申请测试资源
那时候我们期望如此。
后来梦想成真。
0x02,我们的DataCube
那么现如今,魔盒能做到什么呢?
先来一张靓照:
图2-0 DataCube靓照
生产环境的它有这些功能:
-
DashBoard
-
流程管理:
-
任务:
-
任务列表
-
任务详情
-
任务更新
-
任务删除
-
-
创建任务(Spark任务,SparkSQL任务)
-
-
工作流:
-
工作流列表
-
工作流详情
-
工作流编辑
-
工作流删除
-
-
创建工作流
-
配置流程
-
展示流程拓扑图
-
设定调度计划
-
-
-
-
DataFlash:主要是监控报警
-
集群概览
-
DataFlash实时监测
-
近一周报警走势
-
今日报警分类图
-
今日报警日志列表
-
-
Mesos
-
概览
-
实例列表
-
监控指标
-
报警规则(设置)
-
-
HBase
-
概览
-
实例列表
-
监控指标
-
报警规则(设置)
-
-
HDFS
-
概览
-
实例列表
-
监控指标
-
报警规则(设置)
-
-
-
系统管理:
-
公共资源配置
-
对 DataFlash 集群(Mesos/HBase/HDFS)的监控报警,暂且不提。大概齐长下面这个样子:
图2-1 针对DataFlash集群的监控报警体系
我们讲一下最新的工作流。
0x03,工作流什么样?
我作为一名数据仓库工程师,首先创建一个离线计算任务:
图3 创建任务
我可以创建一个 Spark任务 或 一个 SparkSQL 任务。
我不需要上传 jar 包。
指定 git 仓库地址即可,以及任务入口类名,还可以设置动态参数。
系统可以帮你构建和上传,不需要你操心。
提交任务之后,可以进入任务详情,亲手构建和发布上线。
图4 任务详情
这里的“发布上线”指的是,从测试环境推送到生产环境。当然了,生产环境需要对这次推送确认。
有了任务,还需要有工作流。
我们的工作流往往很复杂。
譬如这样的:
图5 工作流详情页上半部分
工作流中的任务可以依赖于其他任务或工作流。
我们在工作流身上设置时间调度规则。也可以选择立即执行。
可以在工作流详情页的下半部分看到执行详情:
图6 工作流详情页下半部分
点击上图中的工作流名称,可以看到本次执行的拓扑图,下图中的红色代表执行失败:
图7 工作流执行详情
还可以一路点击进去看到底错在哪里了:
图8 工作流执行-任务详情
还是解决不了问题的话,就点击查看日志,不再赘述。
总之,我们可以通过魔盒的图形化界面,解决85%~90%的大数据日常调度、管理和部署工作。
而这就是我们最初设定的愿景。
加速高质量的交付,提升开发者的价值。我们技术团队所做的每一个步骤、每一个过程都是叠加的、递增的,日拱一卒,功不唐捐。
下一步需要做什么?
实时计算还没有纳入其中。继续努力。
-EOF-
关注我的订阅号:
注:头图来自于bing.com