最全面试官：哥们儿，你做过linux服务器间的文件搬运程序么？，Java集合类中绝对占有一席之地的List

Kafka进阶篇知识点

Kafka高级篇知识点

44个Kafka知识点（基础+进阶+高级）解析如下

由于篇幅有限，小编已将上面介绍的**《Kafka源码解析与实战》、Kafka面试专题解析、复习学习必备44个Kafka知识点（基础+进阶+高级）都整理成册，全部都是PDF文档**

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

思路：我们给服务器建立免密是通过rsa协议配置，我们使用/usr/bin/ssh-keygen命令在ServerA上生成私钥（id_rsa）跟公钥（id_rsa.pub），将生成的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerB上的公钥箱（/.ssh/authorized_keys）后,就可以使用ssh等命令无需密码登录到另外一台机器ServerB上。如果需要相互免密，同理将serverB上的公钥（/.ssh/id_rsa.pub）内容追加到远程机器ServerA上的公钥（/.ssh/authorized_keys）中即可；另外，使用ssh-keygen并不能生成自动~/.ssh/authorized_keys文件，因此这个文件我们手动加上，并且在修改内容后赋权限:chmod 600 ~/.ssh/authorized_keys

（敲黑板！！），这么做就可以让serverA拿着自己的公钥去远程请求serverB时，跟serverB的公钥匹配一下，如果一致就说明俩人是亲兄弟，不用输密码了。懂我意思吧。

以上一段话基本简化成上方一句命令：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90

编写搬运脚本（三种方式）：

1：Scp传输（适用于少量文件，如千级以下）

脚本内容说明：

通过linux的scp远程传输命令，将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）指定（/home/data/）路径下，然后用rm -r将A服务器指定（/home/data/）路径下的文件删除；

记得给脚本（scp_send90.sh）附上执行属性 chmod 777 scp_send90.sh

贴代码~

#!/bin/bash

#将服务器A（192.168.101.40）指定（/home/data/）路径的文件传输到服务器B（192.168.101.90）

#指定（/home/data/）路径下

scp -r /home/data/* root@192.168.101.90:/home/data/

#rm -r将A服务器指定（/home/data/）路径下的文件删除

rm -r /home/data/*

2：rsync传输（适用于大量文件传输）

scp传输缺点：

**1.搬运慢

2.有时候删除不掉**

原因：原本使用的搬运（scp -r）程序原理是一个一个文件搬，效率低，并且删除用rm -rf命令 在文件数量大于一定上限时（实际项目操作中2000个txt文件就会删除失败，抛出list too much）会删除失败；SO，我们使用了半年的搬运程序是存在很大问题的，赶紧处理—>

升级后的程序：

引入了linux中的rsync同步命令，无论在搬运还是删除方面，都是相对最优的，一开始优化时我们使用了强制删除find . -name “*” -exec rm {} ; -print 方式；但是强制删除存在许多不安全因素。

后来我们发现了一种效率更高的方法，原理类似于 echo “” xxx.txt ；没错，就是重定向！

如下图，删除公式的含义为：将A服务器 /home/data/文件夹下的文件同步到/home/clear/文件夹下，然后重定向清空/home/clear/文件夹下的同步内容，这里/home/clear/文件夹充当垃圾桶的角色。

命令：rsync -a --delete /home/clear/ /home/data/

后来就有了图中简洁明了的.sh脚本（注意明确文件夹名后面的“/”），错误日志记录都不需要咯。

记得给脚本（rsync_send90.sh）附上执行属性 chmod 777 rsync_send90.sh

#!/bin/bash

/usr/bin/rsync /home/data/* root@192.168.101.90:/home/data/

/usr/bin/rsync -a --delete /home/clear/ /home/data/

3：expect传输（模拟键盘输入，不需要做免密）

场景重现：我的服务器之间已经做了免密，但是ssh时仍然需要输入密码？

这种问题有两种可能：

1.该服务器属于特殊服务器，在防火墙规则或策略上专门有人配置过；

2.免密没有做好；

这里在提供一种模拟键盘输入的方式，但步骤稍微多一些，大家根据需求来吧。

下面是脚本源码：

#!/bin/bash

#/usr/bin/rsync root@192.168.101.40:/home/0912data/* /home/0912data/

#传输命令，如果遇到让输入密码的话的，模拟输入

expect -c "

spawn rsync /home/0912data/* root@192.168.101.90:/home/0912demo/

expect {

“*assword” {set timeout 3000; send “password\r”;}

“yes/no” {send “yes\r”; exp_continue;}

}

expect eof"

#删除命令，如果遇到让输入密码的话的，模拟输入

expect -c "

spawn rsync -a --delete /home/clear/ /home/data/

expect {

“*assword” {set timeout 3000; send “password\r”;}

“yes/no” {send “yes\r”; exp_continue;}

}

expect eof"

但是expect这个工具linux并没有自带，所以我们要安装一下

安装expect步骤：

1.1 yum 安装

yum安装就比较简单了，直接运行yum install expect就可以了.

yum install expect

1.2 源码安装

源码安装前我们需要安装unzip和gcc

yum install unzip gcc -y

源码安装我们需要下载两个源码包。tcl源码包和expect源码包。

下载tcl源码包

cd /tmp &&wget http://core.tcl.tk/tcl/zip/release/tcl.zip

下载expect源码包

wget https://jaist.dl.sourceforge.net/project/expect/Expect/5.45.3/expect5.45.3.tar.gz

我们需要先编译安装tcl，因为expect包依赖于tcl。

解压压缩包并编译安装tcl

unzip tcl.zip && cd ./tcl/unix

./configure && make && make install

解压压缩包并编译安装expect.

cd /tmp && tar -xzvf expect5.45.3.tar.gz && cd expect5.45.3/

Kafka进阶篇知识点

Kafka高级篇知识点

44个Kafka知识点（基础+进阶+高级）解析如下

由于篇幅有限，小编已将上面介绍的**《Kafka源码解析与实战》、Kafka面试专题解析、复习学习必备44个Kafka知识点（基础+进阶+高级）都整理成册，全部都是PDF文档**

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

片转存中…(img-F0CmDBNn-1715619008946)]

由于篇幅有限，小编已将上面介绍的**《Kafka源码解析与实战》、Kafka面试专题解析、复习学习必备44个Kafka知识点（基础+进阶+高级）都整理成册，全部都是PDF文档**

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取