pass 软件_怎么把Linux 的文件快速传给10台服务器?文件分发软件的安装配置

背景说明

我们每天都在使用观看视频、浏览新闻、网络购物、网络聊天等等服务,给我们提供这些服务的后端服务器是怎么运作的?一台服务器能承载我们所有人的访问吗?多台服务器之间的文件怎么做到同步的?

带着这些问题,开始我们今天的讲述。

4f28fe45d9d0e2f7e33bd7ab6b5dbe65.png

Linux服务器下快速将文件传递给其他10台(或许是100台)服务器的方法有好多种,人工用U盘拷贝、利用共享文件Samba系统复制等等。今天我们要使用的是另外一种方法,Rsync文件同步分发软件

ca7fa22c3a3964b2ad712a492dc5b422.png

Rsync是什么?

Rsync是Linux系统下的数据镜像备份工具。Rsync的客户端会将服务器端的指定的文件完整的同步到本地服务器上。Rsync支持无限多级的文件分发同步,可以镜像保存整个目录树和文件系统,可以做到保持原来文件的权限、时间、软硬链接等等。Rsync在传输的过程中支持压缩和解压缩,可以大幅度节约带宽。可以使用scp、ssh方式来传输文件以保证数据安全,当然也可以使用直接socket连接的方式。

工作过程是:第一次同步会将所有文件复制到本地服务器,下一次同步的时候,只同步新增或修改的文件。

做个不恰当的比喻,Rsync的文件同步特别像主服务器在台上演讲,Rsync子服务器在下面一边听一边记录,以便传达下去。

dbb642610ceae1eddd36be76e7664c30.png

安装规划

我们以1主3子共4台服务器的网络环境作为举例,来看看Rsync是如何安装、设置和运作的。

08508e4d922c851067af4b235c76dfbc.png

以前比较喜欢源码编译的方式来安装各种的软件,碰到一个文件就下载源码包,然后"./configure"、"make",再然后"make install"。后来发现,有些软件的源码自己根本就没看过,也不准备去更改一下它的代码和配置,所以还不如直接就用YUM安装的方式。这样做最大的好处是不耽误时间。

另外,我没有更改CentOS Linux 8的默认包管理软件(默认是:DNF),以下所有的DNF操作,都是用YUM来完成的,毕竟CentOS Linux 8里面加上了YUM对DNF的软链接。

6208b0186d798ce43a62d501f9f34bf0.png

防火墙设置

Rsync服务会开启一个873/tcp的端口(port),要在服务器端的防火墙上开启这个端口。关于防火墙的安装与管理,请参考我发的相关文章。

针对内网IP开启873/tcp端口(port)的命令如下:

firewall-cmd --permanent --zone=public --add-rich-rule='rule family="ipv4" source address="192.168.1.1/24" port protocal="tcp" port="873" accept'

以上指令比较好理解,你可以对照修改

dc67955715ef687fbe32682b388705cc.png

本次为了测试方便,以免出现权限问题,我们一并吧selinux和防火墙全部关闭掉,然后重启服务器,生产环境中不要这么操作。具体操作如下:

运行以下命令,关闭防火墙

systemctl stop firewalld #临时关闭防火墙

systemctl disable firewalld #禁止开机启动防火墙

systemctl status firewalld #查看防火墙状态。

f16dde3320dbcd233344e0038d0ce2ac.png

关闭SELINUX

运行以下命令:

vi /etc/selinux/config #SELINUX配置文件

相关参数修改如下:

#SELINUX=enforcing

SELINUX=disabled

5755f378b67b8609adcf8df71b75dd21.png

重启服务器,然后查看SELINUX状态:

reboot #重启

getenforce #查询SELinux的运行模式,permissive(宽容模式);enforcing(强制模式);

/usr/sbin/sestatus -v #查看SELINUX的状态

显示如下内容,则说明SELINUX已经关闭了

a28727bb1d46b2e478a982957b078cf8.png

关闭防火墙和SELinux成功。

安装并配置Rsync

为了以后灵活方便,一下操作我们在4台服务器上均进行操作,这样即使主服务器192.168.1.222损坏无法使用,另外一台服务器也可以即使顶替上去。

运行以下指令安装:

dnf -y install rsync rsync-daemon

dfa6e0f882c79e7c8bd9486e3e830478.png

创建运行中需要用到的目录

mkdir -p /log/rsync/

mkdir -p /data/rsync/conf/

mkdir -p /data/rsync/run/

cb56a14592a09def8d35669dbb741529.png

修改主配置文件rsyncd.conf,执行命令:

vi /etc/rsyncd.conf

录入下列文件内容:

uid = root

gid = root

port = 873

#use chroot = no #是否可以改变同步的根目录

#read only = yes #只读或者可以上传文件

#hosts allow=192.168.1.223

#hosts deny=*

# transfer logging = yes

#motd file = /data/rsync/conf/motd

# log format = %t %a %m %f %b

# syslog facility = local3

# timeout = 300

max connections = 200

pid file = /data/rsync/run/rsyncd.pid

lock file = /data/rsync/run/rsync.lock

log file = /log/rsync/rsyncd.log

[wwwroot] //客户端使用rsync来同步的路径,只是模块名称,无需跟目录名字相同

path = /wwwroot

comment = lg69_rsync

read only = yes

auth users = pusher

secrets file = /data/rsync/conf/server.pass

hosts allow = 192.168.1.0/24,2.2.2.0/24,3.3.3.0/24,4.4.4.0/24,5.5.5.0/24

# list=yes

# ignore errors

# exclude = test/ test.php

b24f89bdd0411d6cd1fb0ac53230300b.png

编辑生成服务端密码文件,此文件为服务器端使用;列出可以登录的用户名和密码

vi /data/rsync/conf/server.pass

内容如下:

pusher:7d5df8ed3057bc3e09d52c718e724a75

编辑客户端密码文件,此文件为客户端使用;登录的密码,与server.pass内容对应

vi /data/rsync/conf/client.pass

内容如下:

7d5df8ed3057bc3e09d52c718e724a75

配置不可被同步的文件内容列表

vi /data/rsync/conf/site.exclude.list

内容就像下面的这样就可以

test/user

login.php

login

修改各文件的权限

chmod 600 /data/rsync/conf/server.pass

chmod 600 /data/rsync/conf/client.pass

chmod 600 /data/rsync/conf/site.exclude.list

a4d5931aa6e6094ba95adb4fa8f92919.png

上述内容最好台服务器都配置上,这样一但主服务器出问题,任何一台服务器都可以作为主服务器来使用。

启动Rsync服务

主服务器服务端操作,只在192.168.1.222上配置

启动Rsync服务,等同于systemctl start rsyncd

service rsyncd start

设置开机启动Rsync服务

systemctl enable rsyncd

ps -aux | grep rsync #如果看到rsync的进程在,就说明启动成功了

能看到类似如下内容,就说明启动成功了

c7cff3fa7e3027e36d5f6aad9d8703fb.png

到这里务器端启动就完成了

service rsyncd start #等同于systemctl start rsyncd 启动Rsync服务

service rsyncd stop #等同于systemctl stop rsyncd 关闭Rsync服务

service rsyncd status #等同于systemctl status rsyncd 查看Rsync服务状态

systemctl enable rsyncd #设置开机启动Rsync服务

systemctl disable rsyncd #设置开机不启动Rsync服务

客户端操作并测试使用

设置客户端的可执行文件(拉取服务端文件的shell),在223、224和225上操作

vi /root/get.sh

内容如下(大意是获取服务端/wwwroot/下所有的文件):

#!/bin/bash

/usr/bin/rsync -vrtopg --password-file=/data/rsync/conf/client.pass --exclude-from=/data/rsync/conf/site.exclude.list --progress pusher@192.168.1.222::wwwroot /wwwroot/

给这个文件可执行的权限

chmod +x /root/get.sh #client.pass和site.exclude.list上面已经介绍了这里直接使用

测试同步文件

获取一下文件试试

./get.sh #同步一下试试 注:客户端的rsync配置最好和服务端一模一样

8f6bbdd03247a369b260ec754f3c218c.png

已经将服务器端(222)上的hello.php文件同步到本地服务器(228)上了。

配置服务器自动同步文件

执行命令:

crontab -e

crontab默认使用vi编辑,填入一下内容:

*/10 8-23 * * * /root/get.sh

0 0-7 * * * /root/get.sh

说明:8-23点每10分钟执行一次,0-7每一小时执行一次

1582a46b9aa7c112d1adeeab4683b204.png

至此我们已经将所有的安装配置操作完毕,222服务器上/wwwroot/目录下新增或修改的任何文件,223-225都会同步获取到。这里举的是4台服务器的例子,如果你的服务器能承受得了压力,可以扩展到任意台服务器上去。

在实际的使用过程中,如果/wwwroot/目录中的文件过多,可以会出现性能极具下降的情况,极端的情况是同步文件失败。当发生这种情况的时候,我们可以设置每一次同步只同步/wwwroot/下面的一个子目录,但是我们多设置多个同步脚本,也就是将/wwwroot/下的子目录每个设置一个同步脚本,这样就能解决这个问题。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值