xsync集群同步

rsync 远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync语法

选项功能
-r递归
-v显示复制过程
-l拷贝符号连接

scp(secure copy)安全拷贝
scp可以实现服务器与服务器之间的数据拷贝。(把所有文件都复制过去)
scp语法
*rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。

xsync集群分发脚本

循环复制文件到集群所有节点相同的目录下
1.新建xsync脚本文件
(在/user/local/bin这个目录下存放的脚本,用户可以在系统任何地方直接执行。)

touch xsync

2.进入文件编辑

vi xsync
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
# $#:表示传递给脚本或函数的参数个数。
if((pcount==0)); then
echo no args;
exit;
fi
 
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
 
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
 
#4 获取当前用户名称
user=`whoami`
 
#5 循环
for((host=2; host<5; host++)); do
#	    echo $pdir/$fname $user@hadoop00$host:$pdir
        echo --------------- hadoop00$host ----------------
        rsync -rvl $pdir/$fname $user@hadoop00$host:$pdir
 done
 
#5 循环
#for host in {hadoop001,hadoop002,hadoop003,hadoop004,hadoop005}; do
#	   echo $pdir/$fname $user@$host:$pdir
#      echo --------------- $host ----------------
#      rsync -rvl $pdir/$fname $user@$host:$pdir
#done

修改脚本具有执行权限

chmod 777 xsync

调用脚本形式: xsync 文件名

xsync  /home/001/bin
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Alluxio提供了一种跨集群同步数据的功能,可以将数据从一个Alluxio集群复制到另一个Alluxio集群。以下是一个基本的步骤示例: 1. 准备源集群:在源集群中,确保需要同步的数据已经准备好并存储在Alluxio中。 2. 配置源集群:在源集群上,确保Alluxio的配置正确,并且集群的网络连接和权限设置是可用的。 3. 配置目标集群:在目标集群上,确保Alluxio的配置正确,并且集群的网络连接和权限设置是可用的。 4. 启动源集群Alluxio代理:在源集群的每个节点上启动Alluxio代理,使其作为源集群的数据提供者。 5. 启动目标集群Alluxio代理:在目标集群的每个节点上启动Alluxio代理,使其作为目标集群的数据接收者。 6. 配置跨集群同步策略:使用Alluxio的命令行工具或API,在源集群中配置跨集群同步策略。这包括定义要复制的数据路径、目标集群的连接信息等。 7. 执行跨集群同步任务:使用Alluxio的命令行工具或API,在源集群中启动跨集群同步任务。Alluxio将会自动复制数据到目标集群。 8. 监控和验证:在同步过程中,可以使用Alluxio的监控工具来跟踪同步任务的进度和状态。一旦同步完成,您可以验证目标集群上的数据是否与源集群一致。 请注意,以上步骤仅为基本示例,并且在实际应用中可能会有一些细微的差异。建议参考Alluxio的官方文档和相关资源以获取更详细的信息和指导。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值