hadoop运行模式(完全分布式)——xsync集群分发脚本

在此之前,要将映射ip与主机写入 /etc/hosts文件(根据自己需要写入)

在这里插入图片描述

xsync集群分发脚本

需求:循环复制文件到所有节点的相同目录下

需求分析:
(a)rsync命令原始拷贝:
  rsync -rvl /opt/module root@hadoop12:/opt/

(b)期望脚本:
  xsync要同步的文件名称

(c)我们将xsync脚本创建在/home/用户/bin目录下。说明:在/home/用户/bin这个目录下存放的脚本,该用户可以在系统任何地方直接执行。

脚本实现:

  1. 在/home/centos/bin目录,并在bin目录下xsync创建文件,如下:
mkdir bin
cd bin
touch xsync
vim xsync
  1. 在该文件中编写如下代码
#!/bin/bash
#1.获取输入参数个数(需要同步的数据源)
pcount=$#
if ((pcount==0));
	then
	echo no args;
	exit;
fi
#2.获取到数据源
p1=$1
#得到数据源的最外层目录名称
fname=`basename $p1`
echo fname=$fname
#3.获取到数据源的绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#得到用户
user=`whoami`
#5.循环数据同步到集群种的所有机器上
for ((host=13;host<16;host++)); do
	echo =============hadoop$host=============
	rsync -av $pdir/$fname $user@hadoop$host:$pdir
done

  1. 修改脚本 xsync 具有执行权限
    在这里插入图片描述
  2. 调用脚本形式:xsync 文件名称
    在这里插入图片描述
  3. 如果将xsync放到/home/用户/bin目录下仍然不能实现全局使用,可以将xsync移动到/usr/local/bin目录下。
    在这里插入图片描述
  4. 回到家目录执行 xsync
    在这里插入图片描述
    即可成功。
    注:当上传/etc文件时需要将xsync文件复制到/bin目录下,方可使用sudo xsync /etc 命令。
  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 答: 可以使用shell脚本来批量分发文件,请参考下面的示例:#!/bin/bashfor i in `ls *.txt` do scp $i user@host:/destination done ### 回答2: 编写Shell脚本可以用来批量分发文件。以下是一个简单的示例: ```bash #!/bin/bash # 输入要分发的文件名 read -p "请输入要分发的文件名:" filename # 输入远程服务器的IP地址和用户名 read -p "请输入远程服务器的IP地址:" ip read -p "请输入远程服务器的用户名:" username # 遍历所有IP地址,分发文件 for address in "${ip[@]}" do # 使用scp命令将文件分发到远程服务器 scp $filename $username@$address:/ done echo "文件分发完成" ``` 该脚本首先要求用户输入要分发的文件名,然后要求输入远程服务器的IP地址和用户名。接下来,使用一个循环遍历所有的远程服务器IP地址,使用`scp`命令将文件分发到远程服务器的根目录中。 请注意,在实际使用中,可能需要对脚本进行一些修改,以满足实际需求,例如输入多个IP地址或文件路径等。 希望这个简单的示例对你有所帮助! ### 回答3: 编写Shell脚本可以批量分发文件,可以按照以下步骤进行操作: 首先,需要创建一个包含目标主机列表的文本文件,每行表示一个目标主机的IP地址或主机名。 然后,可以编写一个Shell脚本来读取此文本文件,并使用SSH命令将文件复制到每个目标主机上。脚本的大致步骤如下: 1. 使用read命令读取目标主机列表文件,将每行的主机名称或IP地址存储在一个变量中。 2. 使用scp命令将要分发的文件复制到目标主机。例如,可以使用以下命令:`scp 文件路径 目标主机用户名@目标主机IP或主机名:目标目录`。可以使用循环结构将文件复制到每个目标主机上。 3. 如果需要输入密码,可以使用expect命令来实现自动化密码输入。例如:`expect -c "spawn scp 文件路径 目标主机用户名@目标主机IP或主机名:目标目录 expect \"password:\" send \"密码\n\"; interact"`。可以根据需要自定义密码和期望字符串。 4. 对目标主机进行逐一循环,直到复制到所有目标主机为止。 5. 可以根据需要添加错误处理和日志记录,以确保脚本的可靠性和稳定性。 通过编写上述Shell脚本,可以方便地批量分发文件到多个目标主机,提高工作效率。可以根据具体需求自定义脚本的功能和操作步骤。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值