大数据集群启动&检查

大数据集群启动&检查

注意：

1. 备注了"分机执行"的，所有节点的机器都需要执行，反之则只需要在主节点执行！
2. 使用 jps 指令查看节点的进程。
3. 下载地址仅供参考，后续会打包发网盘
   

Zookeeper(分机执行)

# 启动
/opt/zookeeper-3.7.2/bin/zkServer.sh start
# 停止
/opt/zookeeper-3.7.2/bin/zkServer.sh stop

所有节点出现
QuorumPeerMain

---

Hadoop

# 启动
/opt/hadoop-3.3.0/sbin/start-all.sh
# 停止
/opt/hadoop-3.3.0/sbin/stop-all.sh

主节点出现
NameNode、DataNode、ResourceManager、NodeManager

第一从节点是否出现
SecondaryNameNode、DataNode、NodeManager
  
第二从节点是否出现
DataNode、NodeManager

---

Kafka(分机执行)

# 启动
/opt/kafka-3.6.0/bin/kafka-server-start.sh -daemon /opt/kafka-3.6.0/config/server.properties

# 停止
/opt/kafka-3.6.0/bin/kafka-server-stop.sh

若启动失败则需要进入组件安装目录执行

bin/kafka-server-start.sh -daemon config/server.properties

所有节点出现
kafka

---

Solr(分机执行)

# 启动
/opt/solr-7.7.3/bin/solr start -force
# 停止
/opt/solr-7.7.3/bin/solr stop

浏览器访问 http://主节点IP:8393/

---

Hive

# 启动
/opt/hive-3.1.3/bin/hive --service metastore >> ${HIVE_HOME}/logs/metastore.log 2>&1 &
/opt/hive-3.1.3/bin/hiveserver2 >> ${HIVE_HOME}/logs/hiveserver2.log 2>&1 &
# 停止
kill -9 RunJar进程的PID

主节点
后台启动验证验证，查看是否有两个RunJar进程

---

Hbase

# 启动
/opt/hbase-2.5.6/bin/start-hbase.sh
# 停止
/opt/hbase-2.5.6/bin/stop-hbase.sh

http://主节点IP:16010/master-status,出现ui界面则启动成功

---

Spark

# 启动
/opt/spark-3.4.0-bin-hadoop3/sbin/start-all.sh
# 停止
/opt/spark-3.4.0-bin-hadoop3/sbin/stop-all.sh

http://主节点IP:8888/

---

Flink

# 启动
/opt/flink-1.13.6/bin/start-cluster.sh
# 停止
/opt/flink-1.13.6/bin/stop-cluster.sh

主节点出现
TaskManagerRunner、StandaloneSessionClusterEntrypoint

从节点出现
TaskManagerRunner

http://192.168.2.11:8081

---

Atlas

# 启动
/opt/apache-atlas-2.1.0/bin/atlas_start.py
# 停止
/opt/apache-atlas-2.1.0/bin/atlas_stop.py

http://主节点IP:21000
用户名：admin 密码：admin

---

dolphinscheduler

# 启动
/opt/dolphinscheduler/bin/start-all.sh
# 停止
/opt/dolphinscheduler/bin/stop-all.sh

http://主节点IP:12345/dolphinscheduler/ui
用户名：admin 密码：dolphinscheduler123

---

Prometheus

# 启动
http://192.168.2.11:9090/targets?search=

下载地址

hadoop
官网下载连接，版本3.3.0

zookeeper
官网下载地址，版本3.7.2

Kafka
官网下载地址，版本3.6.0

Hive
官网下载地址，版本3.1.3

HBase
官网下载地址，版本2.5.6

Solr
官网下载地址，版本8.6.3

Spark
官网下载地址，版本3.4.1

Atlas
官网下载地址，版本2.1.0