centos7搭建hadoop集群之xcall脚本

35 篇文章 1 订阅
在一些特定场景下,需要所有节点同时执行相同的命令,比如主机hadoop1执行ls命令,其他节点主机也同时执行ls命令,实现这种效果快捷方式一般有两种:
  • 1.使用工具,同一发送执行命令,如SecureCRT,同时连接所有节点,在窗口下面可以直接输入需要同时执行的命令。
  • 在这里插入图片描述
    在这里插入图片描述
    优点:如果命令后面带有路径,如ls /opt/demo,可以直接写成ls demo/(前提是其他节点也有此目录),写成相对路径,SecureCRT会正确的让该命令在其他节点得到解析执行。
    缺点:如果节点数目过多,启动的连接窗口是否过多?
  • 2.使用xcall脚本分发命令
    优点:不局限与节点数目,只要配置了ssh免密登录,一个命令即可(最好配置了hosts映射,脚本连接以主机名,比ip方便)
    缺点:执行,命令后面如果带有路径参数,只能写绝对路径,不能写相对路径。如ls /opt/demo,不能写成ls demo/(前提是其他节点也有此目录)
用法:
  • 1.以root用户创建xcall脚本
    在这里插入图片描述
  • 2.编写脚本
    在这里插入图片描述
    脚本内容:
#!/bin/bash
pcount=$#
if((pcount==0));then
        echo no args;
        exit;
fi

echo -------------localhost----------
$@
for((host=2; host<=3; host++)); do
        echo ----------hadoop$host---------
        ssh hadoop$host $@
done

:host是主机号,这里一共三台服务器,通过其中一台服务器执行xcall分发命令,达到其他节点服务器也同时执行相同的命令,配置了hosts映射,主机名和对应的ip

  • 3.更改脚本读写权限
    在这里插入图片描述
  • 4.执行脚本
    在这里插入图片描述
  • 5.结果图:
    在这里插入图片描述
  • 1.这里分别需要输入其他节点的root密码,因为没有给执行xcall命令的用户配置ssh免密登录,执行命令前可以先配置执行xcall命令的root用户的ssh,可参考:https://blog.csdn.net/yhblog/article/details/84029535
    如果这里配置了ssh免密登录将不用输入其他节点的root用户密码。
  • 2.xcall后面可以接部分Linux操作命令(ll不行)
  • 3.可以使用xcall rm -rf 绝对路径(多个节点同时删除文件),如果不适用绝对路径,得在xcall脚本中编写获得相对路径的代码,可以参考xsync脚本
    xcall rm -rf /opt/module/hadoop-2.7.2/data/
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
以下是一个简单的脚本,可以快速在 CentOS 7 上搭建 Hadoop 集群: ```bash #!/bin/bash # Hadoop Cluster Setup Script # Set hostname echo "Setting hostname..." hostnamectl set-hostname hadoop-master echo "127.0.0.1 hadoop-master" >> /etc/hosts # Install Java echo "Installing Java..." yum install -y java-1.8.0-openjdk-devel # Download Hadoop echo "Downloading Hadoop..." curl -O https://apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz # Extract Hadoop echo "Extracting Hadoop..." tar -xzvf hadoop-3.3.1.tar.gz mv hadoop-3.3.1 /usr/local/hadoop rm hadoop-3.3.1.tar.gz # Configure Hadoop echo "Configuring Hadoop..." echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export HADOOP_HOME=/usr/local/hadoop" >> /etc/profile echo "export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin" >> /etc/profile source /etc/profile # Configure Hadoop Cluster echo "Configuring Hadoop Cluster..." cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml sed -i 's/localhost/hadoop-master/' /usr/local/hadoop/etc/hadoop/core-site.xml sed -i 's/localhost/hadoop-master/' /usr/local/hadoop/etc/hadoop/hdfs-site.xml sed -i 's/localhost/hadoop-master/' /usr/local/hadoop/etc/hadoop/yarn-site.xml echo "export HDFS_NAMENODE_USER=root" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export HDFS_DATANODE_USER=root" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export HDFS_SECONDARYNAMENODE_USER=root" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export YARN_RESOURCEMANAGER_USER=root" >> /usr/local/hadoop/etc/hadoop/yarn-env.sh echo "export YARN_NODEMANAGER_USER=root" >> /usr/local/hadoop/etc/hadoop/yarn-env.sh # Start Hadoop Cluster echo "Starting Hadoop Cluster..." /usr/local/hadoop/sbin/start-dfs.sh /usr/local/hadoop/sbin/start-yarn.sh # Configure Hadoop Cluster on other nodes echo "Configure Hadoop Cluster on other nodes..." echo "hadoop-slave1" >> /etc/hosts echo "hadoop-slave2" >> /etc/hosts # Done echo "Hadoop Cluster Setup Complete!" ``` 这个脚本包括了以下步骤: 1. 设置主机名和 hosts 文件。 2. 安装 Java。 3. 下载和解压 Hadoop。 4. 配置 Hadoop。 5. 配置 Hadoop 集群。 6. 启动 Hadoop 集群。 7. 在其他节点上配置 Hadoop 集群。 可以将这个脚本保存为 `setup-hadoop.sh`,并在每个节点上运行它。注意,在运行脚本之前,需要将每个节点的 hostname 和 IP 地址添加到 `/etc/hosts` 文件中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhblog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值