面试官：哥们儿，你做过linux服务器间的文件搬运程序么？

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

1.保证服务器之间的正常通信（可以ping通），ping不同一般出现在服务器处于不同网段或防火墙未关闭；

防火墙关闭方式：

service iptables stop （仅关闭防火墙）

chkconfig iptables off （关闭防火墙及相关服务）

iptables -F （清除防火墙规则）

使用 iptables -F 前请先阅读如何关闭防火墙及清除防火墙策略

流程介绍：

此处以服务器A、服务器B（文件传输方向 A → B）为例；

服务器A:192.168.101.40

服务器A:192.168.101.90

1.建立服务器A、服务器B间的免密协议；

通常我们通过scp、rsync、ssh等方式连接时，时需要输入被访问服务器密码的，做免密协议就是建立互信，以后不再输入密码。

2.编写搬运shell脚本（.sh）；

将我们需要传输的相关命令写入脚本，附上权限方便手动或定时器调用。

3.编辑linux自带定时器（crontab）；

通过linux定时器触发，去调用shell搬运脚本进行日常搬运工作。

实践方法

---

免密协议搭建：

网络上免密搭建的方式普遍比较复杂，且很多不好使，这里我记录一下我的建立免密方式。至于sshd的环境搭建现在linux一般都会自带了，此处不再赘述。

1.建立A、B服务器的公钥私钥

先确定本机是否已有，如果输入ls ~/.ssh/ 命令后.ssh文件夹没有id_rsa、id_rsa.pub文件，则需要给该服务器初始化一个公钥和私钥；

初始化公钥和私钥命令：ssh-keygen

然后连点三下回车即可（自动设置rsa密码为空）；

2.建立A、B服务器的免密：

在服务器A输入命令：

ssh-copy-id -i ~/.ssh/id_rsa.pub 服务器B的IP

例如：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90

完成建立免密后，测试ssh访问，ssh B服务器IP，不用输入密码，说明OK。

免密详细流程说明：

思路：我们给服务器建立免密是通过rsa协议配置，我们使用/usr/bin/ssh-keygen命令在ServerA上生成私钥（id_rsa）跟公钥（id_rsa.pub），将生成的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerB上的公钥箱（/.ssh/authorized_keys）后,就可以使用ssh等命令无需密码登录到另外一台机器ServerB上。如果需要相互免密，同理将serverB上的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerA上的公钥（/.ssh/authorized_keys）中即可；另外，使用ssh-keygen并不能生成自动~/.ssh/authorized_keys文件，因此这个文件我们手动加上，并且在修改内容后赋权限:chmod 600 ~/.ssh/authorized_keys

（敲黑板！！），这么做就可以让serverA拿着自己的公钥去远程请求serverB时，跟serverB的公钥匹配一下，如果一致就说明俩人是亲兄弟，不用输密码了。懂我意思吧。

以上一段话基本简化成上方一句命令：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90

编写搬运脚本（三种方式）：

1：Scp传输（适用于少量文件，如千级以下）

脚本内容说明：

通过linux的scp远程传输命令，将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）指定（/home/data/）路径下，然后用rm -r将A服务器指定（/home/data/）路径下的文件删除；

记得给脚本（scp_send90.sh）附上执行属性 chmod 777 scp_send90.sh

贴代码~

#!/bin/bash

#将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）

#指定（/home/data/）路径下

scp -r /home/data/* root@192.168.101.90:/home/data/

#rm -r将A服务器指定（/home/data/）路径下的文件删除

rm -r /home/data/*

2：rsync传输（适用于大量文件传输）

scp传输缺点：

**1.搬运慢

2.有时候删除不掉**

原因：原本使用的搬运（scp -r）程序原理是一个一个文件搬，效率低，并且删除用rm -rf命令 在文件数量大于一定上限时（实际项目操作中2000个txt文件就会删除失败，抛出list too much）会删除失败；SO，我们使用了半年的搬运程序是存在很大问题的，赶紧处理—>

升级后的程序：

引入了linux中的rsync同步命令，无论在搬运还是删除方面，都是相对最优的，一开始优化时我们使用了强制删除find . -name “*” -exec rm {} ; -print 方式；但是强制删除存在许多不安全因素。

后来我们发现了一种效率更高的方法，原理类似于 echo “” xxx.txt ；没错，就是重定向！

如下图，删除公式的含义为：将A服务器 /home/data/文件夹下的文件同步到/home/clear/文件夹下，然后重定向清空/home/clear/文件夹下的同步内容，这里/home/clear/文件夹充当垃圾桶的角色。

命令：rsync -a --delete /home/clear/ /home/data/

后来就有了图中简洁明了的.sh脚本（注意明确文件夹名后面的“/”），错误日志记录都不需要咯。

记得给脚本（rsync_send90.sh）附上执行属性 chmod 777 rsync_send90.sh

#!/bin/bash

/usr/bin/rsync /home/data/* root@192.168.101.90:/home/data/

/usr/bin/rsync -a --delete /home/clear/ /home/data/

3：expect传输（模拟键盘输入，不需要做免密）

场景重现：我的服务器之间已经做了免密，但是ssh时仍然需要输入密码？

这种问题有两种可能：

1.该服务器属于特殊服务器，在防火墙规则或策略上专门有人配置过；

2.免密没有做好；

这里在提供一种模拟键盘输入的方式，但步骤稍微多一些，大家根据需求来吧。

下面是脚本源码：

#!/bin/bash

#/usr/bin/rsync root@192.168.101.40:/home/0912data/* /home/0912data/

#传输命令，如果遇到让输入密码的话的，模拟输入

expect -c "

spawn rsync /home/0912data/* root@192.168.101.90:/home/0912demo/

expect {

“*assword” {set timeout 3000; send “password\r”;}

“yes/no” {send “yes\r”; exp_continue;}

}

expect eof"

#删除命令，如果遇到让输入密码的话的，模拟输入

expect -c "

spawn rsync -a --delete /home/clear/ /home/data/

expect {

“*assword” {set timeout 3000; send “password\r”;}

“yes/no” {send “yes\r”; exp_continue;}

}

expect eof"

总结

无论是哪家公司，都很重视高并发高可用的技术，重视基础，重视JVM。面试是一个双向选择的过程，不要抱着畏惧的心态去面试，不利于自己的发挥。同时看中的应该不止薪资，还要看你是不是真的喜欢这家公司，是不是能真的得到锻炼。其实我写了这么多，只是我自己的总结，并不一定适用于所有人，相信经过一些面试，大家都会有这些感触。

最后我整理了一些面试真题资料，技术知识点剖析教程，还有和广大同仁一起交流学习共同进步，还有一些职业经验的分享。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
面试真题资料，技术知识点剖析教程，还有和广大同仁一起交流学习共同进步，还有一些职业经验的分享。

[外链图片转存中…(img-w0EKRVAj-1713560264164)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
[外链图片转存中…(img-lqO8wbTk-1713560264164)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！