DataSophon

一、简介

1.DataSophon是什么

DataSophon是个管理平台，致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。

2.特性

• 快速部署,可快速完成300个节点的大数据集群部署
• 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
• 监控指标全面丰富，基于生产实践展示用户最关心的监控指标
• 灵活便捷的告警服务，可实现用户自定义告警组和告警指标
• 可扩展性强，用户可通过配置的方式集成或升级大数据组件

3.整体架构

3.1设计思想

为设计出轻量级，高性能，高可扩的，可满足国产化环境要求的大数据集群管理平台。需满足以下设计要求：

（1）一次编译，处处运行，项目部署仅依赖java环境，无其他系统环境依赖。

（2）DataSophon工作端占用资源少，不占用大数据计算节点资源。

（3）可扩展性高，可通过配置的方式集成托管第三方组件。

3.2Rpc技术选型

管理端与工作端通信选择akka框架。选型依据如下：

（1）Actor并发模型，支持协程，比线程小很多，高并发性能高。

（2）非常轻量的事件驱动处理机制（1GB内存可容纳约270万个Actor）。

（3）可以以jar包形式集成到现有框架，简洁易用，无其他依赖。

（4）具备容错机制，允许在Actor出错时进行一些恢复或者重置操作。

（5）消息传递支持exactly once。

（6）相对于netty，学习成本，使用成本更低。

4.集成组件

各集成组件均进行过兼容性测试，并稳定运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。

序号	名称	版本	描述
1	HDFS	3.3.3	分布式大数据存储
2	YARN	3.3.3	分布式资源调度与管理平台
3	ZooKeeper	3.5.10	分布式协调系统
4	FLINK	1.15.2	实时计算引擎
5	DolphoinScheduler	3.1.1	分布式易扩展的可视化工作流任务调度平台
6	StreamPark	1.2.3	流处理极速开发框架,流批一体&湖仓一体的云原生平台
7	Spark	3.1.3	分布式计算系统
8	Hive	3.1.0	离线数据仓库
9	Kafka	2.4.1	高吞吐量分布式发布订阅消息系统
10	Trino	367	分布式Sql交互式查询引擎
11	Doris	1.1.5	新一代极速全场景MPP数据库
12	Hbase	2.4.16	分布式列式存储数据库
13	Ranger	2.1.0	权限控制框架
14	ElasticSearch	7.16.2	高性能搜索引擎
15	Prometheus	2.17.2	高性能监控指标采集与告警系统
16	Grafana	9.1.6	监控分析与数据可视化套件
17	AlertManager	0.23.0	告警通知管理系统

 二、使用手册

1.安全认证

1.1什么是Kerberos

​ Kerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。

1.2相关概念

1）KDC（Key Distribute Center）：密钥分发中心，负责存储用户信息，管理发放票据。

2）Realm：Kerberos所管理的一个领域或范围，称之为一个Realm。

3）Principal：Kerberos所管理的一个用户或者一个服务，可以理解为Kerberos中保存的一个账号，其格式通常如下：primary/instance@realm

4）keytab：Kerberos中的用户认证，可通过密码或者密钥文件证明身份，keytab指密钥文件。

1.3Kerberos认证原理

大数据管理平台DataSophon-1.1.1安装部署详细流程-CSDN博客