Kylo调研总结（一）

定位

Kylo定位于企业级的数据湖管理平台（Data Lake Platform），它是基于Spark和NiFi的开源数据湖编排框架，Kylo提供的主要特性包括数据获取、数据准备和数据发现，并支持元数据管理、数据治理和高级安全特性。

厂商信息

Kylo是由Teradata天睿公司开源，并被航空、保险、电信、金融服务、银行和零售行业的全球Top N公司所应用。

经典场景

通过Kylo的GUI界面，业务人员可以按照他们关心的方式来操作数据，包括:创建数据源、定义数据加载、数据预处理、转换，发布到目标系

Kylo系统介绍

系统组件

• Kylo-ui：即前端web组件，主要包括Operations、Feed Manager和Admin三个一级功能：

• Operations：提供仪表盘、服务状态监控、Job执行概览、告警查看、SLA调度等功能。
• Feed Manager：提供Feed管理、目录分类、SLA、可视化查询以及数据预览等能力。
• Admin：提供用户管理、分组管理、数据源管理、模板管理等功能。

• kylo-services：Kylo服务后端，为前端提供Rest ful接口，并实现Job 仓库、元数据仓库的管理能力，并负责与依赖组件如ES、NiFi、Hadoop Cluster的通信。

系统依赖
Kylo的安装和运行依赖于多种外部组件，组件及其作用如下所示

概述说明如下：

MySQL/PG/MS SQL Server :kylo需要使用关系型数据库实现其元数据存储与管理

MQ：用于不同组件之间的消息通信

JDK：Kylo运行在java虚拟机中

ES/Solr:用于Hive中元数据或Feed数据的全局搜索（前提是在创建Feed时需要指定索引）

Spark、Hive、HDFS：Kylo具有调用大数据集群的能力，Kylo默认将Spark作为Hive的执行引擎。

组网模式

Kylo的自有服务和依赖服务可以分开部署，也可以部署在一台服务器上。Kylo既支持单机模式也可以集群方式。
组网结构如下所示：

与大数据系统的关系
在物理上，Kylo既独立于源系统和目标系统，同时也与CDH/HDP Cluster相互独立。但Kylo需要集成Hive、HDFS、Spark等的lib库，从而实现与大数据集群的通信。
Kylo集成的部分lib库如下所示：

与NiFi的关系
Kylo依赖NiFi实现数据流编排的能力，即Kylo中对数据的处理依赖于NiFi中的模板，在工作中需要先在NiFi中完成模板定义，然后从NiFi中导出并导入到Kylo中，如下所示：
NiFi中的数据流：

NiFi中的模板：

Kylo中的模板：