批量scp脚本——从多台机器拷贝相同文件

转载 2015年11月20日 15:30:03

为了方便的从多台服务器获取日志(不同机器的相同日志),写了个简易脚本专门用于批量拷贝服务器日志到执行脚本的机器中。该脚本包含2个文件bscp.sh和bscp.exp。

使用方式:

sh bscp.sh <username> <host1,host2> <log_file>
username:你ssh到目标机器的密码。
host1,host2:目标机器的ip或者机器名,多个之间用逗号分割。
log_file:你要批量下载的日志的绝对路径。

运行后,程序提示输入目标机器的密码(这里需要多台机器的ssh用户名密码是相同的,且之前需要建立过ssh连接,就是不需要再进行yes/no交互)

bscp.sh主程序:

[plain] view plaincopy
  1. #!/bin/bash  
  2. if [ $# != 3 ]    ;then  
  3.     echo "usage:<username> <host1,host2> <log_file>"  
  4.     exit 1  
  5. fi  
  6. stty -echo               #隐藏密码输出  
  7. read -p "Please enter target hosts' passwd of $1:" passwd  
  8. stty echo  
  9. echo  
  10.   
  11. dirpath=`dirname $0`  
  12. #echo $dirpath  
  13. $dirpath/bscp.exp $1 $2 $3 $passwd  


expect脚本:

[plain] view plaincopy
  1. #!/usr/bin/expect -f  
  2. set user [lindex $argv 0]  
  3. set hosts [lindex $argv 1]  
  4. set logfile [lindex $argv 2]  
  5. set passwd [lindex $argv 3]  
  6. set timeout 10  
  7. set hostlist [split $hosts ","]             # 把host字符串分割成列表  
  8.   
  9. set slashIdx [expr [string last / $logfile] + 1]   
  10. set filename [string range $logfile $slashIdx end]  # 获取日志文件名  
  11.   
  12. foreach h $hostlist {  
  13.     set hostfile $filename  
  14.     spawn scp $user@$h:$logfile ./$filename.$h  
  15.     expect "*Enter passphrase for key*" {   # 这里可以改成其他可能出现的显示文字,如password:等.或者加多yes/no的交互环节  
  16.         send  "$passwd\r"  
  17.         send  "\r"  
  18.     }  
  19.     expect "*%*" {set timeout -1 ; puts "\rtrasmitting..."}  
  20.     expect eof {                            # 下载完成后输出成功信息  
  21.         puts "\rtransmit successfully!"  
  22.         set timeout 10  
  23.     }  
  24. }  

一个栗子:

执行获取3台机日志:
./bscp.sh ultrani host1,host2,host3 /home/admin/xxx/logs/access.log

结果是把3台机器的日志下载到执行脚本的目录中

日志后缀以机器名结尾:
access.log.host1
access.log.host2
access.log.host3

scp批量上传文件到多台机器上(升级版)

对之前的版本进行升级,增加支持密码从命令行输入方式,增加提示那些机器上传成功或者失败提示 对于运维来说,同时管理多台机器是很辛苦的事情,特别是CDN运维需要上传一个文件到1000台机器的话,靠人工一...

1.shell实用脚本:批量拷贝相同类型的文件

批量拷贝相同类型的文件思路在一个目录中,可能有多个不同类型的文件,我们想要抽取中其中的一部分,然后拷贝到其他的目录中或者其他主机中,这个操作在现实工作中非常常见,比如日志的迁移等。这里的要点是要在指定...

批量SCP文件的脚本

最近在集群上部署Hadoop时发现在服务器之间传递文件比较麻烦,原因是使用scp每次只能指定一台目标服务器,并且必须指定用户名和目标路径。当集群中存在很多服务器时,分发Hadoop的配置文件就会耗费很...

【Unix/Linux】【命令】【网络操作工具】远程拷贝文件 —— scp命令

scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。可能会稍微影响一下速度。当你服务器...

linux命令——scp 两台linux机器间文件或目录传输

原文http://www.cnblogs.com/kongzhongqijing/p/3543304.html 介绍scp是secure copy的简写,是linux系统下基于ssh登陆进行安全的远...

linux命令——scp 两台linux机器间文件或目录传输

source: http://www.cnblogs.com/kongzhongqijing/p/3543304.html 不同的Linux之间copy文件常用有3种方法: 第一种...

linux命令——scp 两台linux机器间文件或目录传输

不同的Linux之间copy文件常用有3种方法: 第一种:ftp,也就是其中一台Linux安装ftpServer,这样可以另外一台使用ftp的client程序来进行文件的copy。 第二种...

多台机器同时批量打印

  • 2008年11月26日 13:50
  • 64KB
  • 下载

ssh,expect脚本实现远程登录,拷贝命令scp,rsync服务器的搭建

两台主从机之间的自动登录 在主机一中使用ssh-keygen产生公钥id.rsa.pub和私钥id.rsa 然后把公钥内容复制到主机2的.ssh/id.rsa.pub中(若没有就创建该目录) 注意,主...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:批量scp脚本——从多台机器拷贝相同文件
举报原因:
原因补充:

(最多只允许输入30个字)