携程实时计算平台架构与实践丨DataPipeline

文 | 潘国庆 携程大数据平台实时计算平台负责人

本文主要从携程大数据平台概况、架构设计及实现、在实现当中踩坑及填坑的过程、实时计算领域详细的应用场景，以及未来规划五个方面阐述携程实时计算平台架构与实践，希望对需要构建实时数据平台的公司和同学有所借鉴。

一、携程大数据平台之总体架构

携程大数据平台结构分为三层：
应用层：
开发平台Zeus（分为调度系统、Datax数据传输系统、主数据系统、数据质量系统）、查询平台（ArtNova报表系统、Adhoc查询）、机器学习（基于tensorflow、spark等开源框架进行开发；GPU云平台基于K8S实现）、实时计算平台Muise；

中间层：
基于开源的大数据基础架构，分为分布式存储和计算框架、实时计算框架；
离线主要是基于Hadoop、HDFS分布式存储、分布式离线计算基于Hive及Spark、KV存储基于HBase、Presto和Kylin用于Adhoc以及报表系统；
实时计算框架底层是基于Kafka封装的消息队列系统Hermes, Qmq是携程自研的消息队列， Qmq主要用于定单交易系统，确保百分之百不丢失数据而打造的消息队列。

底层：
资源监控与运维监控，分为自动化运维系统、大数据框架设施监控、大数据业务监控。

二、架构设计与实现

1.Muise平台介绍

1）Muise是什么
Muise，取自希腊神话的文艺女神缪斯之名，是携程的实时数据分析和处理的平台；Muise平台底层基于消息队列和开源的实时处理系统JStorm、Spark Streaming和Flink，能够支持秒级，甚至是毫秒级延迟的流式数据处理。

2）Muise的功能
**数据源：**Hermes Kafka/Mysql、Qmq；
**数据处理：**提供Muise JStorm/Spark/FlinkCore API消费Hermes或Qmq数据，底层使用Jstorm、Spark或实时处理数据，并提供自己封装的API给用户使用。API对接了所有数据源系统，方便用户直接使用；
**作业管理：**Portal提供对于JStorm、Spark Streaming和Flink作业的管理，包含新建作业，上传jar包以及发布生产等功能；
**监控和告警：**使用Jstorm、Spark和Flink提供的Metrics框架，支持自定义的metrics；metrics信息中心化管理，接入Ops的监控和告警系统，提供全面的监控和告警支持，帮助用户在第一时间内监控到作业是否发生问题。

2.Muise平台现状

平台现状：
Jstorm 2.1.1、Spark 2.0.1、Flink1.6.0、Kafka 2.0；
集群规模：
13个集群、200+台机器150+Jstorm、50+Yarn、100+ Kafka；
作业规模：
11个业务线、350+Jstorm作业、120+SS/Flink作业；