【Shell实战】Linux多节点分发文件

最新推荐文章于 2024-04-04 02:33:09 发布
最新推荐文章于 2024-04-04 02:33:09 发布
阅读量694 收藏 3
点赞数
分类专栏： Linux # 小练习 文章标签： linux 算法 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43820556/article/details/134433536
版权

多节点分发文件

通过shell脚本将跳板机或者软件中转机上的文件，分发至一组目标机器中。

使用前提：

  • 跳板机或者软件中转机与目标集群均配置免密。
  • 目标机器的接收目录拥有足够的大小。

脚本使用说明：

sh distributing_packages.sh /data/gd/distributing /data/software 22

  • 第一个参数为分发文件所在目录所在的绝对路径:/data/gd/distributing
  • 第二个参数为目标机器接收目录所在的绝对路径:/data/software
  • 第三个参数为(可选参数) ssh端口号 要求整个分发机器们统一.22

使用日志输出样例

2023-11-15 17:46:39,273 [INFO ] 参数提示:
	第一个参数为分发目录所在的绝对路径,
	第二个参数为目标接收目录所在的绝对路径,
	第三个参数为(可选参数) ssh端口号 要求整个分发机器们统一.
例如: sh distributing_packages.sh /data/gd/distributing /data/software 22
2023-11-15 17:46:39,275 [INFO ] =================== 安装前检查开始 ===================
2023-11-15 17:46:39,280 [INFO ] =================== 安装前检查完毕 ===================
2023-11-15 17:46:39,665 [INFO ] =================== 分发文件开始 ===================
2023-11-15 17:46:39,672 [INFO ] 正在向[192.168.1.1]发送文件[apache-doris-2.0.2-bin-x64-noavx2.tar.gz]...
2023-11-15 17:47:04,260 [INFO ] 正在向[192.168.1.1]发送文件[apache-doris-2.0.2-bin-x64.tar.gz]...
2023-11-15 17:47:28,916 [INFO ] 正在向[192.168.1.1]发送文件[distributing_config.properties]...
2023-11-15 17:47:29,055 [INFO ] 正在向[192.168.1.1]发送文件[distributing_packages.sh]...
2023-11-15 17:47:29,195 [INFO ] 正在向[192.168.1.1]发送文件[jdk1.8.0_161.tgz]...
2023-11-15 17:47:30,969 [INFO ] 向[192.168.1.1]发送文件完毕
2023-11-15 17:47:30,977 [INFO ] 正在向[192.168.1.2]发送文件[apache-doris-2.0.2-bin-x64-noavx2.tar.gz]...
2023-11-15 17:47:55,485 [INFO ] 正在向[192.168.1.2]发送文件[apache-doris-2.0.2-bin-x64.tar.gz]...
2023-11-15 17:48:19,987 [INFO ] 正在向[192.168.1.2]发送文件[distributing_config.properties]...
2023-11-15 17:48:20,132 [INFO ] 正在向[192.168.1.2]发送文件[distributing_packages.sh]...
2023-11-15 17:48:20,272 [INFO ] 正在向[192.168.1.2]发送文件[jdk1.8.0_161.tgz]...
2023-11-15 17:48:22,036 [INFO ] 向[192.168.1.2]发送文件完毕
2023-11-15 17:48:22,044 [INFO ] 正在向[192.168.1.3]发送文件[apache-doris-2.0.2-bin-x64-noavx2.tar.gz]...
2023-11-15 17:48:46,588 [INFO ] 正在向[192.168.1.3]发送文件[apache-doris-2.0.2-bin-x64.tar.gz]...
2023-11-15 17:49:11,176 [INFO ] 正在向[192.168.1.3]发送文件[distributing_config.properties]...
2023-11-15 17:49:11,323 [INFO ] 正在向[192.168.1.3]发送文件[distributing_packages.sh]...
2023-11-15 17:49:11,470 [INFO ] 正在向[192.168.1.3]发送文件[jdk1.8.0_161.tgz]...
2023-11-15 17:49:13,266 [INFO ] 向[192.168.1.3]发送文件完毕
2023-11-15 17:49:13,269 [INFO ] =================== 分发文件成功 ===================

目标机器的IP存放在配置文件distributing_config.properties中，脚本通过解析配置文件获取它们。

脚本源码：

distributing_packages.sh

#!/bin/bash
# Author                : Donny
# Date                  : 2023/11/15
# Func                  : 软件包分发脚本
#                         例如：sh distributing_packages.sh /data/gd/distributing /data/software 22
##########################################################################

# ############################## Prameter area ##############################
# 采用绝对地址表示软件包分发的目录，容量至少50G。
distributingPackagePath=$1
# 分发配置文件名
distributingConfigFile="distributing_config.properties"
# 获取本地IP
localIP=$(ifconfig -a | grep inet | grep -v 127.0.0.1 | grep -v inet6 | awk '{print $2}')
# ssh端口 为可选参数
sshPort=22

# 分发目标节点IP
targetIps=""

# 分发目标节点的接收目录，容量至少50G。
targetPath=$2

if [[ -n "${3}" ]]; then
    sshPort=${3}
fi

# ############################## Buildin function area ##############################
# >>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 日志模块 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
# 初始化日志模块
function initLogModule() {
    # 初始化日志输出
    logPath=$(pwd)
    # 脚本日志目录
    LogFile="$logPath/logs/distributing_package_$(date +%F).log"
    mkdir -p "${distributingPackagePath}/logs"

    # 创建日志文件
    if ! [ -f "${LogFile}" ]; then
        touch "$LogFile"
    fi

    echo "日志文件为: ${LogFile}"
}

# 输出红色高亮字体并标记ERROR
function echo_error() {
    echo -e "\033[1;31m$1\033[0m"
    [ -n "${LogFile}" ] && echo "$(date +%F\ %T,%N | cut -c1-23) [ERROR] $1" >>"${LogFile}"
}

# 输出默认字体并标记INFO
function echo_info() {
    echo -e "$1"
    [ -n "${LogFile}" ] && echo "$(date +%F\ %T,%N | cut -c1-23) [INFO ] $1" >>"${LogFile}"
}

# 输出绿色字体并标记INFO
function echo_green() {
    echo -e "\033[32m$1\033[0m"
    [ -n "${LogFile}" ] && echo "$(date +%F\ %T,%N | cut -c1-23) [INFO ] $1" >>"${LogFile}"
}
# <<<<<<<<<<<<<<<<<<<<<<<<<<<<<< 日志模块 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

# 获取配置文件内容
function getPropertiesValue() {

    # check文件是否存在
    if ! [ -f "${distributingPackagePath}/${distributingConfigFile}" ]; then
        echo_error "缺少配置文件[${distributingPackagePath}/${distributingConfigFile}]"
        exit 1
    fi

    # check 文件中是否配置了distributingTargeIps
    file=$(grep 'distributingTargeIps' "${distributingPackagePath}"/"${distributingConfigFile}")

    if [[ -z "${file}" ]]; then
        echo_error "缺少配置项distributingTargeIps"
        exit 1
    fi

    # check distributingTargeIps的合法性
    targetIps=$(echo "$file" | awk -F "=" '{print $2}' | awk -F "," '{for(i=1;i<=NF;i++) a[i,NR]=$i}END{for(i=1;i<=NF;i++) {for(j=1;j<=NR;j++) printf a[i,j] " ";print ""}}')

    length1=$(echo "$targetIps" | wc -l)
    length2=$(echo "$targetIps" | sort -u | wc -l)

    if [[ "$length1" != "$length2" ]]; then
        echo_error "distributingTargeIps中存在IP重复或存在多余分隔符"
        exit 1
    fi

    errorIp=""
    for ip in ${targetIps}; do
        if [[ "${ip}" != "${localIP}" ]]; then
            ssh -p${sshPort} "${ip}" 'mkdir -p '${targetPath}'' &>/dev/null
            [ "$?" != "0" ] && errorIp="$errorIp"$ip, && continue
        fi
    done

    if [[ -n "${errorIp}" ]]; then
        errorIp=${errorIp::-1}
        echo_error "${errorIp}无法ssh"
        exit 1
    fi

}

# ############################## Execute body area ##############################
# 初始化日志
initLogModule
echo_info "参数提示:
	第一个参数为分发目录所在的绝对路径,
    第二个参数为目标接收目录所在的绝对路径,
	第三个参数为(可选参数) ssh端口号 要求整个分发机器们统一.
例如: sh $0 /data/gd/distributing /data/software 22"

echo_info "=================== 安装前检查开始 ==================="
current=$(whoami)
# 0.用户检查
if [[ "root" != "$current" ]]; then
    echo_error "请使用root用户执行脚本！"
    exit 1
fi
# 1.检查参数是否齐全
if [[ -z "${distributingPackagePath}" || -z "${targetPath}" ]]; then
    echo_error "请输入正确参数:
	第一个参数为分发目录所在的绝对路径,
    第二个参数为目标接收目录所在的绝对路径
	第三个参数为(可选参数) ssh端口号 要求整个集群统一.
例如: sh $0 /data/gd/distributing /data/software 22"
    exit 1
# 2.检查路径是否非法
elif ! [ -d "${distributingPackagePath}" ]; then
    echo_error "目录${distributingPackagePath}不存在"
    exit 1
fi
echo_green "=================== 安装前检查完毕 ==================="

getPropertiesValue

errorflag=0
echo_info "=================== 分发文件开始 ==================="
# 向集群结点分发
for ip in ${targetIps}; do
    errorDistribution=""
    if [[ "${ip}" != "${localIP}" ]]; then
        # 发送配置文件
        packageFiles=$(ls ${distributingPackagePath})
        for file in ${packageFiles}; do
            sudo scp -P${sshPort} ${distributingPackagePath}/${file} root@${ip}:${targetPath}/${file} &>/dev/null
            [ "$?" != "0" ] && errorDistribution="$errorDistribution""向[$ip]发送[$file]失败, "
        done

        if [[ -n "${errorDistribution}" ]]; then
            errorflag=1
            errorDistribution=${errorDistribution}"。"
            echo_error "${errorDistribution}"
        else
            echo_info "向[${ip}]发送文件完毕"
        fi
    fi

done

if ((${errorflag} == 1)); then
    echo_error "=================== 分发文件失败 ==================="
    exit 1
else
    echo_green "=================== 分发文件成功 ==================="
fi

# ############################## Return value area ##############################
exit 0

distributing_config.properties

# distributingTargeIps代表软件包需要分发到的IP地址,格式ip1,ip2,ip3
distributingTargeIps=192.168.1.1,192.168.1.2,192.168.1.3
顧棟
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令
希望每天都能进步一点点
01-15 1399
文章目录参考资料一、前言二、rsync 远程同步工具三、使用 shell 编写分发脚本四、总结 参考资料 视频链接 Linux scp命令 一、前言 在Hadoop完全分布式集群环境下，里面的各个节点都是通过 SSH免密登陆 连接的，比如现有三台集群节点，分别是 hadoop101、hadoop102、hadoo103。 hadoop101节点可以通过 ssh命令连接到hadoop102，即： ssh hadoop102 那么，除了远程登陆以外，还有其他的作用吗？ 当然有的，比如远程传输文件：sc
Shell 脚本实现集群启动与分发
2302_77773925的博客
06-16 142
【代码】Shell 脚本实现集群启动与分发。
Linux | 分发文件的小脚本
憨憨李四的博客
04-08 389
用Shell语言写一个分发文件的小脚本。
Linux shell脚本实现命令批处理和文件批量分发
最新发布
2401_84046695的博客
04-04 695
命令批处理脚本：/usr/shell/all.sh文件批量分发脚本：/usr/shell/scp.sh这里的hosts是批处理代码从需要读取的hosts，想批处理哪台服务器就写哪个host自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
Linux 配置集群免密和文件分发
weixin_44244088的博客
12-08 1524
当我们的集群数据较多，为了方便管理，或者一些组件需要，尤其是大数据领域，这个时候是需要集群内主机节点之间是相互免密登录的；在我们安装组件的时候，大部分的文件是重复的时候，我们一般是安装和配置好一个节点，然后以这个安装配置好的节点作为模板来分发文件；其他节点改改配置就可以了；这部分可以之前的文章【 4.生成公钥私钥对】https://blog.csdn.net/weixin_44244088/article/details/126575345生成的公钥配置到authorized_keys 1.2 配置其他节点
Linux 集群分发脚本 xsync
prefect_start的博客
06-06 1109
1、scp（secure copy）安全拷贝 1.1、定义 scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） 1.2、基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称 1.3、案例实操 在hadoop102上，将hadoop101中/opt/module目录下
Linux shell实现压缩多个文件代码实例
09-14
主要介绍了Linux shell实现压缩多个文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Linux shell ftp命令根据文件日期下载文件的方法
09-15
最近做项目遇到这样的需求要求ftp获取远程数据的文件，根据文件的创建时间点下载文件。下面小编给大家分享知识点小结，感兴趣的朋友要求看看吧
Linux shell文件备份脚本
07-15
该脚本可配合定时任务实现定期备份文件、并删除久远备份文件，脚本中使用“年月日时分”作为备份文件名，并以此作为判断来配合设置的diff值删除久远的备份文件，脚本中删除备份时间大于一天的备份文件。
Linux运维高手进阶Shell编程最佳实战
07-23
资源名称：Linux运维高手进阶 Shell编程最佳实战资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Shell脚本系列｜ SSH分发公钥方法 - expect脚本的使用
weixin_48711696的博客
02-07 1185
ssh原理：在SSH安全协议的原理中， 是一种非对称加密与对称加密算法的结合。用于确保远程登录和其他网络服务的会话安全，通过非对称加密、会话加密、多重验证机制等手段，保护数据传输的机密性和完整性。ssh登录有2种方法：账号密码登录和公钥登录。
shell实现自动化分发脚本
04-25
采用shell文件自动化分发脚本开发，操作系统版本要求6.10
linux 系统分发
04-26
用于linux 系统分发配置，主要运用kickstart 安装配置cetos
SHELL脚本（集群分发）
m0_51742725的博客
05-12 403
功能实现：循环复制文件到所有结点的相同目录下。 #!/bin/bash # 判断参数个数 if [ $# -lt 1 ] then echo "请输入要分发的文件名" exit; fi #遍历所有服务器 for host in hadoop001 hadoop002 hadoop003 do echo ==========$host============= #遍历所有文件，逐个发送 for file in $@ do #判断文件是否存在 if [ -e$file ]
linux 命令批量执行脚本及文件分发脚本
好记性不如烂笔头
08-29 1287
工具脚本
使用shell编写集群分发脚本
m0_60758916的博客
08-07 380
1.scp远程复制命令 scp可以实现对计算机的文件复制 [root@hadoop03 hadoop]# scp -r /root/桌面/hadoop root@hadoop01:/root/桌面/ a.txt 100% 5 0.0KB/s 00:00 b.txt 100% 49 0.1KB/s 00...
Linux分发脚本
Rise_0927的博客
04-03 3882
linux 中制作分发脚本
Linux文件分发脚本
希未
12-15 4260
在集群部署、运维时，经常需要把同一份文件复制到其他主机上，以保证各主机的配置是一致的，单个进行scp操作，几台主机还能接受，当有几十台甚至上百机器的集群时，单个scp就会非常的耗时，严重降低了工作效率，下面就是一份文件分发到各主机的脚本，非常的方便使用。 为了分解分发的时候更加快捷方便的使用，集群内部的主机最好已经做好互信， 互信命令：   1.生成公钥： ssh-keygen 
linuxscp批量分发文件
12-29
以下是使用scp命令进行Linux批量分发文件的步骤： 1. 创建一个批量分发脚本并赋予执行权限： ```shell touch /usr/shell/scp.sh && chmod 777 /usr/shell/scp.sh ``` 2. 定义批量处理的主机列表。 3. 使用scp命令...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值