hadoop集群停止脚本

 

解决停止hadoop集群时,效率低问题

 

当搭建好了hadoop集群时,启动hadoop集群后,需要停止集群工作,需要先停止yarn,需要停止hdfs,需要停止zookeeper,很麻烦呀,效率太低了,有木有!!!!!!!!!!

 

当然,前题是搭建起来了hadoop集群,可以参考我搭建的hadoop集群

1.参考zookeeper搭建

2.参考hadoop集群搭建

3.参考hadoop集群启动脚本

 

以下是针对我自己搭建的hadoop集群,编写的停止脚本

 

#!/bin/bash
#我们将脚本存入在it01,因为它有到02、03、04、05、06的免登录

clear

echo "->->->->->->->->->->->->stop it03 yarn------------------------------"
ip=it03
ssh root@$ip "source /etc/profile;/it/hadoop-2.2.0/sbin/stop-yarn.sh"
ssh root@$ip "source /etc/profile;jps"


echo "->->->->->->->->->->->->stop it01 it02 hdfs---------------------"
ip=it01
ssh root@$ip "source /etc/profile;/it/hadoop-2.2.0/sbin/stop-dfs.sh"
ip=it01
ssh root@$ip "source /etc/profile;jps"
ip=it02
ssh root@$ip "source /etc/profile;jps"


echo "->->->->->->->->->->->->stop zkServer-----------------------------------"
for ip in it04 it05 it06
do
    echo "ssh to $i"
    ssh root@$ip "source /etc/profile;/it/zookeeper-3.4.6/bin/zkServer.sh stop"
    ssh root@$ip "source /etc/profile;jps"
done


执行过程如下:

->->->->->->->->->->->->stop it03 yarn------------------------------
stopping yarn daemons
stopping resourcemanager
it06: stopping nodemanager
it05: stopping nodemanager
it04: stopping nodemanager
it03: stopping nodemanager
no proxyserver to stop
7252 Jps
->->->->->->->->->->->->stop itcast01 it02 hdfs---------------------
Stopping namenodes on [itcast01 itcast02]
it01: stopping namenode
it02: stopping namenode
it05: stopping datanode
it04: stopping datanode
it06: stopping datanode
Stopping journal nodes [it04 it05 it06]
it05: stopping journalnode
it06: stopping journalnode
it04: stopping journalnode
Stopping ZK Failover Controllers on NN hosts [it01 it02]
it01: stopping zkfc
it02: stopping zkfc
8163 Jps
5967 Jps
->->->->->->->->->->->->stop zkServer-----------------------------------
ssh to it04
JMX enabled by default
Using config: /itcast/zookeeper-3.4.5/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
4513 Jps
ssh to it05
JMX enabled by default
Using config: /itcast/zookeeper-3.4.5/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
4620 Jps
ssh to it06
JMX enabled by default
Using config: /it/zookeeper-3.4.5/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
4476 Jps
[root@it01 ~]# 


成功停止hadoop集群!!!又可以偷懒了!!!


文章最后,给大家推荐一些受欢迎的技术博客链接

  1. Hadoop相关技术博客链接
  2. Spark 核心技术链接
  3. JAVA相关的深度技术博客链接
  4. 超全干货--Flink思维导图,花了3周左右编写、校对
  5. 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
  6. 请谈谈你对volatile的理解?--最近小李子与面试官的一场“硬核较量”
  7. 聊聊RPC通信,经常被问到的一道面试题。源码+笔记,包懂

 


欢迎扫描下方的二维码或 搜索 公众号“10点进修”,我们会有更多、且及时的资料推送给您,欢迎多多交流!

                                           

       

 

 

 

 

 

 

 

以下是一个简单的脚本,可以快速在 CentOS 7 上搭建 Hadoop 集群: ```bash #!/bin/bash # Hadoop Cluster Setup Script # Set hostname echo "Setting hostname..." hostnamectl set-hostname hadoop-master echo "127.0.0.1 hadoop-master" >> /etc/hosts # Install Java echo "Installing Java..." yum install -y java-1.8.0-openjdk-devel # Download Hadoop echo "Downloading Hadoop..." curl -O https://apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz # Extract Hadoop echo "Extracting Hadoop..." tar -xzvf hadoop-3.3.1.tar.gz mv hadoop-3.3.1 /usr/local/hadoop rm hadoop-3.3.1.tar.gz # Configure Hadoop echo "Configuring Hadoop..." echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export HADOOP_HOME=/usr/local/hadoop" >> /etc/profile echo "export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin" >> /etc/profile source /etc/profile # Configure Hadoop Cluster echo "Configuring Hadoop Cluster..." cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml sed -i 's/localhost/hadoop-master/' /usr/local/hadoop/etc/hadoop/core-site.xml sed -i 's/localhost/hadoop-master/' /usr/local/hadoop/etc/hadoop/hdfs-site.xml sed -i 's/localhost/hadoop-master/' /usr/local/hadoop/etc/hadoop/yarn-site.xml echo "export HDFS_NAMENODE_USER=root" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export HDFS_DATANODE_USER=root" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export HDFS_SECONDARYNAMENODE_USER=root" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export YARN_RESOURCEMANAGER_USER=root" >> /usr/local/hadoop/etc/hadoop/yarn-env.sh echo "export YARN_NODEMANAGER_USER=root" >> /usr/local/hadoop/etc/hadoop/yarn-env.sh # Start Hadoop Cluster echo "Starting Hadoop Cluster..." /usr/local/hadoop/sbin/start-dfs.sh /usr/local/hadoop/sbin/start-yarn.sh # Configure Hadoop Cluster on other nodes echo "Configure Hadoop Cluster on other nodes..." echo "hadoop-slave1" >> /etc/hosts echo "hadoop-slave2" >> /etc/hosts # Done echo "Hadoop Cluster Setup Complete!" ``` 这个脚本包括了以下步骤: 1. 设置主机名和 hosts 文件。 2. 安装 Java。 3. 下载和解压 Hadoop。 4. 配置 Hadoop。 5. 配置 Hadoop 集群。 6. 启动 Hadoop 集群。 7. 在其他节点上配置 Hadoop 集群。 可以将这个脚本保存为 `setup-hadoop.sh`,并在每个节点上运行它。注意,在运行脚本之前,需要将每个节点的 hostname 和 IP 地址添加到 `/etc/hosts` 文件中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不埋雷的探长

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值