面试官：哥们儿，你做过linux服务器间的文件搬运程序么？(1)

使用 iptables -F 前请先阅读如何关闭防火墙及清除防火墙策略

流程介绍：

此处以服务器A、服务器B（文件传输方向 A → B）为例；

服务器A:192.168.101.40

服务器A:192.168.101.90

1.建立服务器A、服务器B间的免密协议；

通常我们通过scp、rsync、ssh等方式连接时，时需要输入被访问服务器密码的，做免密协议就是建立互信，以后不再输入密码。

2.编写搬运shell脚本（.sh）；

将我们需要传输的相关命令写入脚本，附上权限方便手动或定时器调用。

3.编辑linux自带定时器（crontab）；

通过linux定时器触发，去调用shell搬运脚本进行日常搬运工作。

实践方法

---

免密协议搭建：

网络上免密搭建的方式普遍比较复杂，且很多不好使，这里我记录一下我的建立免密方式。至于sshd的环境搭建现在linux一般都会自带了，此处不再赘述。

1.建立A、B服务器的公钥私钥

先确定本机是否已有，如果输入ls ~/.ssh/ 命令后.ssh文件夹没有id_rsa、id_rsa.pub文件，则需要给该服务器初始化一个公钥和私钥；

初始化公钥和私钥命令：ssh-keygen

然后连点三下回车即可（自动设置rsa密码为空）；

2.建立A、B服务器的免密：

在服务器A输入命令：

ssh-copy-id -i ~/.ssh/id_rsa.pub 服务器B的IP

例如：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90

完成建立免密后，测试ssh访问，ssh B服务器IP，不用输入密码，说明OK。

免密详细流程说明：

思路：我们给服务器建立免密是通过rsa协议配置，我们使用/usr/bin/ssh-keygen命令在ServerA上生成私钥（id_rsa）跟公钥（id_rsa.pub），将生成的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerB上的公钥箱（/.ssh/authorized_keys）后,就可以使用ssh等命令无需密码登录到另外一台机器ServerB上。如果需要相互免密，同理将serverB上的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerA上的公钥（/.ssh/authorized_keys）中即可；另外，使用ssh-keygen并不能生成自动~/.ssh/authorized_keys文件，因此这个文件我们手动加上，并且在修改内容后赋权限:chmod 600 ~/.ssh/authorized_keys

（敲黑板！！），这么做就可以让serverA拿着自己的公钥去远程请求serverB时，跟serverB的公钥匹配一下，如果一致就说明俩人是亲兄弟，不用输密码了。懂我意思吧。

以上一段话基本简化成上方一句命令：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90

编写搬运脚本（三种方式）：

1：Scp传输（适用于少量文件，如千级以下）

脚本内容说明：

通过linux的scp远程传输命令，将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）指定（/home/data/）路径下，然后用rm -r将A服务器指定（/home/data/）路径下的文件删除；

记得给脚本（scp_send90.sh）附上执行属性 chmod 777 scp_send90.sh

贴代码~

#!/bin/bash

#将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）

#指定（/home/data/）路径下

scp -r /home/data/* root@192.168.101.90:/home/data/

#rm -r将A服务器指定（/home/data/）路径下的文件删除

rm -r /home/data/*

2：rsync传输（适用于大量文件传输）

scp传输缺点：

**1.搬运慢

2.有时候删除不掉**

原因：原本使用的搬运（scp -r）程序原理是一个一个文件搬，效率低，并且删除用rm -rf命令 在文件数量大于一定上限时（实际项目操作中2000个txt文件就会删除失败，抛出list too much）会删除失败；SO，我们使用了半年的搬运程序是存在很大问题的，赶紧处理—>

升级后的程序：

引入了linux中的rsync同步命令，无论在搬运还是删除方面，都是相对最优的，一开始优化时我们使用了强制删除find . -name “*” -exec rm {} ; -print 方式；但是强制删除存在许多不安全因素。

后来我们发现了一种效率更高的方法，原理类似于 echo “” xxx.txt ；没错，就是重定向！

如下图，删除公式的含义为：将A服务器 /home/data/文件夹下的文件同步到/home/clear/文件夹下，然后重定向清空/home/clear/文件夹下的同步内容，这里/home/clear/文件夹充当垃圾桶的角色。

命令：rsync -a --delete /home/clear/ /home/data/

后来就有了图中简洁明了的.sh脚本（注意明确文件夹名后面的“/”），错误日志记录都不需要咯。

记得给脚本（rsync_send90.sh）附上执行属性 chmod 777 rsync_send90.sh

#!/bin/bash

/usr/bin/rsync /home/data/* root@192.168.101.90:/home/data/

/usr/bin/rsync -a --delete /home/clear/ /home/data/

3：expect传输（模拟键盘输入，不需要做免密）

场景重现：我的服务器之间已经做了免密，但是ssh时仍然需要输入密码？

这种问题有两种可能：

1.该服务器属于特殊服务器，在防火墙规则或策略上专门有人配置过；

2.免密没有做好；

这里在提供一种模拟键盘输入的方式，但步骤稍微多一些，大家根据需求来吧。

下面是脚本源码：

#!/bin/bash

#/usr/bin/rsync root@192.168.101.40:/home/0912data/* /home/0912data/

#传输命令，如果遇到让输入密码的话的，模拟输入

expect -c "

spawn rsync /home/0912data/* root@192.168.101.90:/home/0912demo/

expect {

“*assword” {set timeout 3000; send “password\r”;}

“yes/no” {send “yes\r”; exp_continue;}

}

expect eof"

#删除命令，如果遇到让输入密码的话的，模拟输入

expect -c "

spawn rsync -a --delete /home/clear/ /home/data/

expect {

“*assword” {set timeout 3000; send “password\r”;}

“yes/no” {send “yes\r”; exp_continue;}

}

expect eof"

但是expect这个工具linux并没有自带，所以我们要安装一下

安装expect步骤：

1.1 yum 安装

yum安装就比较简单了，直接运行yum install expect就可以了.

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
料：

[外链图片转存中…(img-PKjkUUex-1714214200844)]

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！