Ubuntu:hadoop集群关机或重启脚本

需求:我们在学习hadoop时要用到多台虚拟机,我目前的学习地点不固定宿舍、图书馆等,所以要经常进行虚拟机的关闭,避免电脑断电造成不必要的错误

我之前的脚本都保存在    /home/opt/module/hadoop/bin/ #目录下,例如:hadoop群起脚本myhadoop.sh、xsync等脚本,这个目录设置了环境变量,因此我可以直接在这个目录下继续书写脚本

1、这个脚本命名为close.sh,代码如下

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"shutdown")
  echo "===========shutdown now============"
  ssh -t hadoop103 "echo \"1234\" | sudo -S shutdown -h now"
  ssh -t hadoop104 "echo \"1234\" | sudo -S shutdown -h now"
  ssh -t hadoop102 "echo \"1234\" | sudo -S shutdown -h now"
;;
"reboot")
  echo "=========reboot============="
  ssh -t hadoop103 "echo \"1234\" | sudo -S reboot"
  ssh -t hadoop104 "echo \"1234\" | sudo -S reboot"
  ssh -t hadoop102 "echo \"1234\" | sudo -S reboot"
;;
*)
echo "Input args Error!!"
;;
esac

2、添加可执行权限 chmod +x close.sh

 3、测试脚本

hadoop@hadoop102:~$ close.sh shutdown   #关机

hadoop@hadoop102:~$ close.sh reboot        #重启

4.测试成功 

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
### 回答1: Ubuntu 20.04 Hadoop集群搭建的步骤如下: 1. 安装Java环境:在Ubuntu 20.04上安装Java环境,可以使用OpenJDK或Oracle JDK。 2. 下载Hadoop:从官方网站下载Hadoop的最新版本。 3. 解压Hadoop:将下载的Hadoop压缩包解压到指定的目录下。 4. 配置Hadoop环境变量:将Hadoop的bin目录添加到系统的PATH环境变量中。 5. 配置Hadoop集群:编辑Hadoop的配置文件,包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。 6. 格式化Hadoop文件系统:使用hadoop namenode -format命令格式化Hadoop文件系统。 7. Hadoop集群:使用start-all.sh脚本Hadoop集群。 8. 测试Hadoop集群:使用Hadoop自带的例子程序测试Hadoop集群的运行情况。 以上是Ubuntu 20.04 Hadoop集群搭建的基本步骤,需要注意的是,在配置Hadoop集群时需要根据实际情况进行调整。 ### 回答2: Ubuntu20.04是我们常用的操作系统之一,搭建一个hadoop集群则是对数据处理效率的提升。下面分享我对Ubuntu20.04hadoop集群搭建的一些思路和方法。 1. 安装Ubuntu20.04系统 首先需要安装Ubuntu20.04操作系统,可通过官方网站进行下载安装。安装完成后,需要进行系统更新和配置。 2. 安装Java环境 Hadoop是Java语言编写的,因此需要先安装Java环境。使用apt-get命令进行安装,如下所示: sudo apt-get update sudo apt-get install default-jdk 安装完成后,可通过java -version命令验证是否安装成功。 3. 安装Hadoop 从官网下载最新版本的Hadoop,并解压至/home/username下,如下所示: tar -zxvf hadoop-x.x.x.tar.gz -C /home/username 配置hadoop-env.sh文件: cd /home/username/hadoop-x.x.x/etc/hadoop vi hadoop-env.sh 添加以下内容: export JAVA_HOME=/usr/lib/jvm/default-java export HADOOP_HOME=/home/username/hadoop-x.x.x export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 4. 配置hadoop集群 编辑core-site.xml文件: vi /home/username/hadoop-x.x.x/etc/hadoop/core-site.xml 添加以下内容: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 编辑hdfs-site.xml文件: vi /home/username/hadoop-x.x.x/etc/hadoop/hdfs-site.xml 添加以下内容: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/username/hadoop-x.x.x/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/username/hadoop-x.x.x/hdfs/datanode</value> </property> </configuration> 编辑mapred-site.xml文件: cp /home/username/hadoop-x.x.x/etc/hadoop/mapred-site.xml.template /home/username/hadoop-x.x.x/etc/hadoop/mapred-site.xml vi /home/username/hadoop-x.x.x/etc/hadoop/mapred-site.xml 添加以下内容: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 编辑yarn-site.xml文件: vi /home/username/hadoop-x.x.x/etc/hadoop/yarn-site.xml 添加以下内容: <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 5. hadoop集群 hadoop集群前,需要格式化namenode(第一次动): hdfs namenode -format hadoop集群: cd /home/username/hadoop-x.x.x/sbin ./start-all.sh 6. 测试hadoop集群 在本地上传文件至hdfs,如下所示: hdfs dfs -put /path/to/local/file /path/to/hdfs/directory 查看上传文件: hdfs dfs -ls /path/to/hdfs/directory 删除上传文件: hdfs dfs -rm /path/to/hdfs/file 以上为Ubuntu20.04hadoop集群搭建的大致流程。需要注意的是,在实际搭建过程中,可能会遇到各种问题,需要耐心查找和解决。希望以上分享能对大家有所帮助。 ### 回答3: Hadoop集群是一个用于分布式数据存储和管理的解决方案,它可以处理大型数据集并提供高可用性和容错性。为了搭建一个成功的Hadoop集群,必须熟悉并且正确的安装配置HadoopUbuntu20.04的环境。下面将会介绍如何在Ubuntu20.04上搭建一个三节点的Hadoop集群。 步骤1:安装Java JDK Java JDK是运行Hadoop所必需的软件包之一。在Ubuntu20.04上,可以通过以下命令来安装它: ``` $ sudo apt install openjdk-8-jdk ``` 步骤2:从Apache Hadoop官网下载HadoopUbuntu20.04上,可以通过以下命令从Apache Hadoop官网上下载Hadoop,并将其解压到指定目录中。 ``` $ wget https://archive.apache.org/dist/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz $ tar -xzvf hadoop-2.10.1.tar.gz $ sudo mv hadoop-2.10.1 /usr/local/hadoop ``` 步骤3:编辑Hadoop配置文件 在安装完Hadoop后,需要编辑三个Hadoop的配置文件,将其配置为集群模式。在这里,将hbase-site.xml和hadoop-env.sh视为修改配置文件的例子,修改hadoop-env.sh如下: ``` $ export HADOOP_HOME=/usr/local/hadoop $ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop $ export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ $ export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 修改hbase-site.xml: ``` <configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> <description>a base for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> <description>The name of the default file system. Either the literal string "local" or a host:port for HDFS.</description> </property> </configuration> ``` 步骤4:配置SSH免密登录 在Hadoop集群中,各个节点之间经常需要互相连接,因此需要配置SSH免密登录,以避免频繁输入密码。以下是如何配置SSH免密登录的步骤: ``` $ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 600 ~/.ssh/authorized_keys ``` 此外,需要将密钥复制到所有其他的节点上,以实现节点之间的连接: ``` $ ssh-copy-id user@Host ``` 步骤5:Hadoop集群 在所有节点上都完成上述步骤后,即可通过以下命令来Hadoop集群: ``` $ start-dfs.sh $ start-yarn.sh ``` 分别动HDFS和Yarn,这时应该可以在Web界面上看到正在运行的数据节点(Data Node)和节点管理器(Node Manager)。 对于Hadoop集群的搭建,还有很多需要掌握的知识和工具,例如Hadoop的日志、开HA,在资源管理上的配置等,建议在实践Hadoop集群搭建时多加尝试,并对不理解的概念和操作进行深入的学习。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北方569

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值