Springboot + layui 构建简易集群管理系统

最新推荐文章于 2024-10-10 19:32:46 发布

philpy_used

最新推荐文章于 2024-10-10 19:32:46 发布

阅读量1.5k

点赞数 1

分类专栏： Linux Hadoop Springboot 文章标签： hadoop spark java mapreduce kafka

本文链接：https://blog.csdn.net/qq_43613793/article/details/117303208

版权

文章目录

1、UI界面结果展示

UI界面基于 layui - layout 构建

1.1、Shell控制台首页

在这里插入图片描述

1.2、HDFS 操作页面

在这里插入图片描述

1.3、SparkStreaming & Kafka 操作页面

在这里插入图片描述

1.4、MapReduce の WordCount 操作界面

在这里插入图片描述

1.5、HBase 操作界面

在这里插入图片描述

新建表：
在这里插入图片描述

查看详情：
在这里插入图片描述

添加/更新/修改数据：
在这里插入图片描述

删除列族：
在这里插入图片描述

删除行键：
在这里插入图片描述

删除表：
在这里插入图片描述

2、准备操作：

2.1、本机环境

本机所需环境：

java

scala

mysql

maven

2.2、配置集群环境变量

在三台虚拟机的/etc/profile中添加：

export JAVA_HOME=/opt/modules/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/modules/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

export HBASE_HOME=/opt/modules/hbase-1.2.6.1
export PATH=$PATH:$HBASE_HOME/bin

export HIVE_HOME=/opt/modules/apache-hive-2.3.8-bin
export PATH=$PATH:$HIVE_HOME/bin

export SQOOP_HOME=/opt/modules/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

export FLUME_HOME=/opt/modules/apache-flume-1.8.0-bin
export PATH=$PATH:$FLUME_HOME/bin

export KAFKA_HOME=/opt/modules/kafka_2.11-2.0.0
export PATH=$PATH:$KAFKA_HOME/bin

export KAFKA_CONFIG_HOME=/opt/modules/kafka_2.11-2.0.0/config
export PATH=$PATH:$KAFKA_CONFIG_HOME/bin

export STORM_HOME=/opt/modules/apache-storm-1.1.0
export PATH=$PATH:$STORM_HOME/bin

export ELASTICSEARCH_HOME=/opt/modules/elasticsearch-7.12.0
export PATH=$PATH:$ELASTICSEARCH_HOME/bin

export KIBANA_HOME=/opt/modules/kibana-7.12.0-linux-x86_64
export PATH=$PATH:$KIBANA_HOME/bin

export ELASTICSEARCH_HEAD_HOME=/opt/modules/node-v10.9.0-linux-x64
export PATH=$PATH:$ELASTICSEARCH_HEAD_HOME/bin

2.3、集群一键启动/关闭脚本

集群启动脚本start-cluster.sh：

#! /bin/bash
function help() { 
echo -e "\033[32;1m
start_cluster.sh默认会启动 Zookeeper ，其余的Hadoop组件则需要手动在命令行后面添加参数启动 

例如：
	启动 YARN HA ：start_cluster.sh yarn
	启动 YARN HA 和 HBase HA ：start_cluster.sh yarn hbase
	...

可选Hadoop组件参数有：
	hdfs                       -- 启动 HDFS HA                -- 
	yarn                       -- 启动 YARN HA                  | 
	hbase                      -- 启动 HBase HA                 |
	hive                       -- 启动 Hive                      >  经过实测，这些组件可以同时启动
	spark                      -- 启动 Spark                    | 
	kafka                      -- 启动 Kafka                    |
	storm                      -- 启动 Storm                  -- 
		*	*	*	*	*	*	*	*	*	
	elasticsearch              -- 启动 elasticsearch          --
	kibana	                   -- elasticsearch 是必填项	     >  这三个组件可以同时启动
	elasticsearch_head         -- elasticsearch 是必填项      --
		*	*	*	*	*	*	*	*	*
	all                        -- 一键启动全部组件            ！！！慎用 

    关于flume：本脚本不提供flume的一键启动，请使用命令
	-- flume-ng agent --conf c0nf --conf-file $FLUME_HOME/conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console
    来启动flume监听44444端口，通过ssh远程登陆centos01，使用【telnet localhost 44444】命令来测试flume
\033[0m       \033[33;1m
一则警告 WARNING ；
	上面的这些组件如果想要全部同时启动，即执行
	    -- start_cluster.sh yarn hbase hive spark kafka storm elasticsearch kibana elasticserch_head
	    或
	    -- start_cluster.sh all
	命令，请确保你的虚拟机集群每台都至少有 6GB 的运行内存，否则后面的几个组件是起不来的，尤其是 elasticsearch 及其扩展组件
	极端情况下可能会导致虚拟机卡死甚至外部主机也直接卡死！！！\033[0m

"    
}

function start_zookeeper(){
echo -e "\033[32;1m
/****************************************************************/
/*                    启动 ZooKeeper 集群                       */
/****************************************************************/\033[0m"
ssh -t hadoop@centos01 << remotessh
zkServer.sh start
exit
remotessh
ssh -t hadoop@centos02 << remotessh
zkServer.sh start
exit
remotessh
ssh -t hadoop@centos03 << remotessh
zkServer.sh start
exit
remotessh
}

function start_zkfc(){
echo -e "\033[32;1m
/****************************************************************/
/*                      启动 ZKFC 守护进程                      */
/*******************