没有磁盘整列下的多机分布式存储：使用rysnc+多服务器文件/文件夹内容同步

目录

0.为什么要定时同步

1.程序安装

2.文件夹设置rsync使用

3.使用cron进行定时任务

---

0.为什么要定时同步

作为科研党，实验室有多个服务器，但是都是分批买的没有上磁盘整列，所以一个服务器上跑的东西并不能同步，有时候挂任务要分着两个服务器来挂，存储也是要两个服务器分开看结果。

数据集的话，如果可以同步，就可以在多个服务器上公用。非常方便。在这里因为同步监控开销大，建议每10分钟同步一次，选择自己合适的频率进行同步。

本文介绍的方法比其他方法更为简单实用，测试已经通过。

1.程序安装

这里需要用到Rsync和Crontab，以linux为例，首先进行安装，如果已经安装请跳过

sudo apt install rsync
sudo apt install cron

需要将rsyncd.conf更改权限。将rsyncd.conf这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功! 一般都设置好了每个用户都可以使用。

2.文件夹设置rsync使用

这里建议常用的常登录的服务器作为主服务器，具有跳板机的权限，比如我的主服务器是50002，其他的服务器是3090，A6000，我已经设置了50002作为跳板机，其他服务器作为目标机。

参考博文：VS Code 跳板机登录服务器（手打密码+秘钥登录）-CSDN博客

local->50002--->3090
             |->4090
             |->A6000

在本机上设置需要备份的文件：建议在~/下设置一个数据集文件夹和一个算法文件夹用于储存共享的算法，这样可以提高同步效率。

命令参考：rsync(一)：基本命令和用法-CSDN博客

这里使用的命令如下

#从192.168.5.37主机的~/share文件夹同步至本服务器（主服务器）
rsync -avP --link-dest=~/share zhf@192.168.5.37:~/share/ share/

#从本服务器同步~/share到192.168.5.37目标服务器下的~/share文件夹
rsync -avP --link-dest=~/share share/ zhf@192.168.5.37:~/share/

当主服务器作为密钥登陆跳板机以后就可以直接同步，无需输入密码。

加了-avP是为了对比同步，当文件有修改时才会同步该文件，其他文件参考之前的备份，这个一定要加，保证同步的效率

3.使用cron进行定时任务

将上面介绍的rsync命令写入主服务器的用户根目录下，成为bash文件，例如命名这个文件叫time-run.bash。使用cron定时运行time-run.bash

编辑用户下的cron任务：

#编辑一个新的维护任务表
crontab -e

如果第一次执行，默认会使用nano编辑器进行编辑，且创建新的crontab，这个按照默认的来就好了，在其中加入内容

#以下是示例，选择一个合适的就好

#每10分钟执行一次
*/10 * * * * /bin/bash ~/time-run.sh

#每30分钟执行一次
*/30 * * * * /bin/bash ~/time-run.sh

#每1小时执行一次
* * /1 * * * /bin/bash ~/time-run.sh

重点：启动cron服务，这个需要用sudo或者有权限的账户进行，一定要使用，并查看。

#启动
sudo service crond restart

#服务状态查看
service crond status

第一次同步会较为耗时，后面就能实现多台服务器自动同步了。以上只写了两台服务器间，可以可以扩展到多台。