国产自研开源大数据管理平台DataSophon服务组件安装教程

上一篇文章介绍了DataSophon安装，本文将在此基础上安装DDP服务组件，即hadoop，spark，kafka等大数据组件，进一步体验DataSophon平台提供的其它特性。

目前DataSophon官方提供的安装包版本为DDP-1.0.0（在公众号：浮世Talk 后台回复 DDP 即可获取安装包下载地址），各组件的版本如下所示：

可以看到每个组件的版本都很新，适合勇于尝试新功能的朋友们。另外看到列表中暂时还没有大数据调度框架，希望以后更多大佬加入开源去完善其功能。

本文使用四台虚拟机进行集群搭建演示，由于虚拟机资源有限，因此只选择了几个常用的组件，每个节点主要安装的组件如下表所示：

对于集群安装前的基础环境，如免密配置、关闭防火墙等操作，这里就不作介绍，可以参考：Ambari-2.7.5整合HDP-3.1.5集群完整安装记录。以下是集群安装步骤（多图预警）。

创建集群

登录进入系统页面后在集群管理页面创建集群，DataSophon支持多集群管理和授予用户集群管理员权限。

点击【创建集群】，输入集群名称，集群编码（集群唯一标识），集群框架：

点击【确认】后，进入以下页面：

配置集群

创建成功后点击【配置集群】：

根据提示，输入主机列表，ssh用户名默认为root和ssh端口默认为22。

配置完成后，点击【下一步】，系统开始链接主机并进行主机环境校验。

主机环境校验成功后点击【下一步】，主机agent分发步骤将自动分发datasophon-worker组件，并启动WorkerApplicationServer。

主机管理Agent分发完成后，点击【下一步】，开始部署服务。

安装监控告警组件

初始化配置集群先选择部署AlertManager，Grafana和Prometheus三个组件，DataSophon依赖此三个组件实现系统监控告警管理。

点击【下一步】，分配AlertManager，Grafana和Prometheus服务的master服务角色部署节点，此三个组件需部署在同一台机器上。

点击【下一步】，分配AlertManager，Grafana和Prometheus服务的worker与client服务角色部署节点，没有worker和client服务角色的可以跳过之间点击【下一步】。

修改各服务配置，系统已给出默认配置，大部分情况下无需修改。

点击【下一步】开始服务安装，可实时查看服务安装进度。

点击【完成】，基础监控组件就安装完毕，页面显示如下：

在集群管理页面点击【进入】，即可进入集群服务组件管理页面，可以看到基础的监控指标如：内存、磁盘使用率等已经在页面显示，HDFS/YARN等组件的指标显示为N/A，因为集群目前还没安装该组件。

Prometheus总览页面：

Grafana总览页面：

AlertManager总览页面：

主机管理页面：

告警组管理页面：

告警指标管理页面：

安装zookeeper服务

点击【添加服务】：

选择ZooKeeper，点击【下一步】。

分配ZooKeeper master服务角色部署节点，ZK需部署3或5台(奇数)。

ZK没有worker与client服务角色，直接点击【下一步】跳过。

根据实际情况修改ZK服务配置。

点击【下一步】，进行ZK服务安装。

安装成功后即可查看Zookeeper服务总览页面：

安装HDFS服务

选择HDFS，点击【下一步】。

部署HDFS，其中JournalNode需部署三台，NameNode部署两台，ZKFC和NameNode部署在相同机器上。如下图：

点击【下一步】，选择DataNode部署节点。

根据实际情况修改配置，例如修改DataNode数据存储目录、数据副本数量等。

点击【下一步】，开始安装HDFS。

安装成功后，即可查看HDFS服务总览页面。

安装YARN

选择YARN，点击【下一步】。

部署YARN，其中ResourceManager需部署两台作高可用。如下图：

选择NodeManager部署节点，点击【下一步】。

根据实际情况修改配置。

点击【下一步】，开始安装YARN。

安装成功后，即可查看YARN服务总览页面。

安装Spark

选择SPARK3，点击【下一步】。

Spark没有Master角色，直接点击【下一步】。

选择Spark部署节点，点击【下一步】。

这里一般默认配置即可。

点击【下一步】，安装Spark。

安装成功后，即可查看YARN服务总览页面。

安装Kafka

选择KAFKA，点击【下一步】。

选择Kafka部署节点，点击【下一步】。

根据实际情况调整Kafka参数。

Kafka安装成功后，即可在Kakfa服务总览页查看Kafka详情：

安装完毕后集群总览页面：

总结

使用DataSophon安装大数据集群确实简单，操作过程十分简单，基于默认的配置即可快速搭建一个大数据集群。所有的监控都很直观，由于使用了Grafana+Prometheus作为监控组件，因此自主定义、扩展性很强，下一篇文章将研究DataSophon的监控模块，欢迎关注。

- THE END -