配置rsync daemon模式进行同步文件或目录

rsync简述

rsync 是一个常用的 Linux 应用程序，用于文件同步。

它可以在本地计算机与远程计算机之间，或者两个本地目录之间同步文件（但不支持两台远程计算机之间的同步）。它也可以当作文件复制工具，替代cp和mv命令。

使用场景：打包服务器编译成功后，将相关文件移动到部署服务器上。

Ubuntu系统默认已经安装有rsync，因此可以直接使用rsync命令将同一台机器或者不同机器之间的目录或文件进行同步，这种方式使用起来就相对比较简单，只需要了解rsync的命令参数即可。

而使用daemon守护进程模式，就比较麻烦，因为需要配置需要东西。

rsync daemon配置

概述

rsync 命令是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。rsync 使用所谓的 “rsync算法” 来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync 是一个功能非常强大的工具，其命令也有很多功能特色选项。

借助rsync进行文件同步，需要分别在客户端和服务端安装rsync，想要把client上的日志同步到server服务器，就需要分别在client和server服务器上安装rsync。

rsync安装与配置

安装rsync

这里以Ubuntu系统为例，分别在client和server服务器上执行下面rsync的安装命令：

sudo apt-get install rsync

配置服务端的rsync

这里以erms作为要将日志同步到的目的服务器，需要创建3个配置文件rsyncd.conf（同步信息设置）、rsyncd.motd（同步时展示的提示信息）、rsyncd.secrets（认证账密信息）。
如果没有rsync目录，就先创建/etc/rsync目录，

sudo mkdir -p /etc/rsync

配置rsyncd.motd

rsyncd.motd文件主要是展示一下通过过程中的提示信息，可不设置，这里配置如下

#### 配置rsyncd.motd展示信息
rsyncd.motd文件主要是展示一下通过过程中的提示信息，可不设置，这里配置如下
Hello, this is erms server!

配置rsyncd.secrets

1. 设置账户密码
   rsyncd.secrets配置ssh登录账户及密码，以key:value对的形式设置，这里需要根据实际数据配置。

key:value

2. 修改文件权限为600
   为了保护敏感信息，需要修改rsyncd.secrets文件权限，如果不修改权限也无法推送文件。

sudo chmod 600 /etc/rsync/rsyncd/secrets

3. 检查文件权限
   查看目录的属主和属组主是否与rsyncd.conf文件中设置的uid和gid一致。

ls -ld /etc/rsync

配置rsyncd.conf

rsync文件主要配置同步过程的一些参数设置。

1. 进入rsync目录

cd /etc/rsync

2. 编辑rsyncd.conf文件

sudo vi rsyncd.conf

3. 复制如下配置内容到rsyncd.conf

### rsyncd.conf 文件的配置
# /etc/rsyncd: configuration file for rsync daemon mode
# See rsyncd.conf man page for more options.
# 传输文件使用的用户和用户组，如果是从服务器=>客户端，要保证用户对文件有读取的权限；如果是从客户端=>服务端，要保证用户对文件有写权限。
uid = root
gid = root
# 允许chroot，提升安全性，客户端连接模块，首先chroot到模块path参数指定的目录下，chroot为yes时必须使用root权限，且不能备份path路径外的链接文件
use chroot = yes
# read only =no #只读为假（可写）
read only = no
# 只写
write only = no
# 设定白名单，可以指定IP段（172.xx.xx.1/255.255.255.0），各个Ip段用空格分开
hosts allow = 192.xx.xx.111
# 设置黑名单
hosts deny = *
# 允许的客户端最大连接数，根据最多一次性同步的agent数量设置
max connections = 10
# rsync监听端口
port = 873
# IP地址，启动rsync报错failed: Cannot assign requested address (address-family 2) unable to bind any inbound sockets on port 873，把rsyncd.conf中的address改为127.0.0.1
address = 127.0.0.1
# 欢迎（同步过程中展示的提示）文件的路径，非必须
motd file = /etc/rsync/rsyncd.motd
# 进程对应的进程号pid文件路径
pid file = /var/run/rsyncd.pid
# 锁文件路径
lock file = /data/rsync/rsyncd.lock
# 记录传输文件日志
transfer logging = yes
# 日志文件格式
log format = %t %a %m %f %b
# 指定日志文件
log file = /var/log/rsync.log
# 剔除某些文件或目录，不同步
exclude = lost+found/
# 设置超时时间
timeout = 900
ignore nonreadable = yes
# 设置不需要压缩的文件
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# 忽略错误
ignore errors
# 添加注释
comment = ftp export area
# 模块验证的用户名称，可使用空格或者逗号隔开多个用户名
auth users = sean,testlog
# 模块验证密码文件 可放在全局配置里
secrets file = /etc/rsync/rsyncd.secrets
# 剔除某些文件或目录，不同步
exclude = lost+found/ conf/ man/

# 模块名称，同步时可以根据配置的模块名称找到要同步模块的目录，可以配置多个，使用如: sate@192.xx.xx.xxx::source
[cv]
# cv模块的根目录，同步目录，要注意权限
path = ~/cv
# 是否允许列出模块内容
list = yes
[nav]
# 导航模块的根目录，同步目录，要注意权限
path = ~/nav
# 是否允许列出模块内容
list = yes
[net]
# 网络监测模块的根目录，同步目录，要注意权限
path = /var/log/net
# 是否允许列出模块内容
list = yes

4. 修改、校验如下字段信息

1. hosts allow字段，设置开放的白名单IP列表，如果要从agent同步日志到erms服务器，erms服务器上的rsyncd.conf配置文件中的hosts allow字段需要设置为各个agent的IP集合，多个IP以空格分隔。
2. auth users字段，用于验证模块的用户名，如果要从agent同步日志到erms服务器，erms服务器上的rsyncd.conf配置文件中的auth字段需要设置为erms的ssh登录的用户名（不要使用root用户）。
3. secrets file字段，用于设置密码文件的路径，这里指向上面配置rsyncd.secrets的绝对路径。

5. 保存退出
   修改完rsyncd.conf配置文件后，按Esc键，然后:wq保存退出。

6. 启动服务端rsync daemon进程

sudo /usr/bin/rsync --daemon --config=/etc/rsync/rsyncd.conf

7. 重新启动daemon进程
   如果以前启动了rsync daemon进程，中间修改了上面的某个配置文件，就需要重新启动daemon进程

# 先查看rsync进程是否存在
ps -ef | grep rsync | grep -v grep
root      89262      1  0 00:23 ?        00:00:00 /usr/bin/rsync --daemon --config=/etc/rsync/rsyncd.conf
# 如果rsync进程已经存在（或者rsync服务无法正常启动），可以通过上面ps命令得到的进程号89262
# 然后杀掉该进程
kill -9 pid
# 之后，重新启动daemon进程
sudo /usr/bin/rsync --daemon --config=/etc/rsync/rsyncd.conf

3.配置客户端上的rsync

客户端rsync配置跟上面的服务端流程一样，需要将rsyncd.conf中的hosts白名单设置为erms服务器的IP；auth users需要设置agent对应ssh登录账户密码。
每台客户端都需要安装rsync，并配置rsyncd.conf、rsyncd.motdrsyncd.secrets配置文件，然后启动daemon进程

sudo /usr/bin/rsync --daemon --config=/etc/rsync/rsyncd.conf

生成ssh key

切换到ld用户，默认同步脚本安装在ld用户下，使用ld用户生成的公钥进行ssh免密的登录。

su ld

在服务器上，通过ssh-keygen生成公钥，引号中的内容任意，可以标明来自某个IP的公钥"from10.xx.xx.xxx"

ssh-keygen -t rsa -C "xxx"
cat id_rsa.pub

然后，将上面id_rsa.pub中的内容追加到客户端的~/.ssh/authorized_keys最后面

sudo vi ~/.ssh/authorized_keys

同步日志

启动服务端daemon

sudo /usr/bin/rsync --daemon --config=/etc/rsync/rsyncd.conf

配置文件有更改，也需要使用上面的命令重启rsync daemon服务。

查看rsync daemon服务是否启动

ps -ef | grep rsync | grep daemon

然后，在服务端通过rsync命令，可以将客户端上面的文件同步到服务端。

参考

rsync安装及部署
Linux rsync+xinetd配置指南
rsync关闭命令的报错问题及解决方法
ubuntu 14.04 配置 rsync + inotify 文件双向实时同步
Linux下Rsync+Inotify-tools实现数据实时同步
配置rsync远程数据同步服务详解
rsync+inotify文件实时同步
linux 下的 rsync 文件同步