奇麟|一站式大数据资源管理与开发平台

奇技 · 指南

360系统部成立于2010年，负责整个集团的大数据底层基础平台建设（包括分布式存储、分布式计算、大数据搜索、图计算等各类大数据服务），目前服务于整个集团30+部门，1000+用户，服务器25000+，存储数据量EB级。

奇麟（Qirin），是由系统部研发的一站式大数据平台，完整覆盖了大数据的采、存、管、算、用整个大数据开发和处理流程，可以帮助业务部门快速构建自己的数据平台及数据产品。

本文从整体层面介绍了奇麟大数据平台以及对每个功能模块进行概述，后续将有其他文章，对主要模块进行详细介绍。

1

奇麟大数据平台架构

奇麟大数据平台功能架构图

从功能上，奇麟主要由以下模块构成（自底向上）：

（1）  资源管理：用于各类大数据服务资源的申请和管理，以及访问权限的申请与管理，包括存储资源、计算资源等；

（2）  元数据管理：基于资源管理，为其他模块提供统一视图，将整个大数据处理平台（流程）贯穿起来。元数据管理一方面支持奇麟系统平台资源，同时也支持用户导入外部自有资源，进而托管应用；

（3）  数据汇集：用于将外部数据汇集到大数据存储中，包括实时和离线的数据汇集；

（4）  任务开发：批流合一的任务平台，用于开发、调度、监控实时和离线数据处理任务；

（5）  交互分析：用于使用SQL快速查询探索数据，以及简单的可视化分析和结果展示；

（6）  数据服务：基于以上各子系统能力，提供满足若干场景的SaaS服务，比如数据归档备份、跨集群的数据传输，以及对外提供数据共享等；

（7）  权限中心：用于管理资源账号权限以及开发组权限；

（8）  系统管理：提供一些系统基础功能的管理；

面向业务，奇麟思考的是通过提供简单易用的一站式大数据处理的平台，降低使用门槛，简化大数据平台工作，帮助业务释放数据价值，赋能业务。

奇麟模块化视图

奇麟通过模块化设计，使得各个模块可以灵活组装和运行，针对不同的司内外业务场景，可以快速形成不同的大数据解决方案和产品。

一个典型的大数据处理流程

接下来，本文将以一个典型的大数据处理流程为例，介绍如何通过奇麟来一站式完成。