定期备份数据(centos)

备份相关问题：

1 需要在被备份数据的机器A（数据备份在此机器上）启动rsync的服务端，即启用相关进程。也可以根据需求在机器B上启动相关进程。故需要根据实际情况确定好服务器和客户端。

2 在备份的机器B上可以通过crontab来定时备份由A指定的数据，也可以通过inotify来实现。

3 A上配置文件/etc/rsyncd.conf 内容如下：

#运行RSYNC守护进程的用户 
uid = root
#运行RSYNC守护进程的组 
gid = root

use chroot = no
#不使用chroot 
max connections = 4
 # 最大连接数为4 
strict modes =yes
 #是否检查口令文件的权限 
port = 873
#默认端口873 
pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsync.lock  
log file = /var/log/rsyncd.log 
 
[database]
#这里是认证的模块名，在client端需要指定 
path = /data/
 #需要做镜像的目录,不可缺少！ 
comment = This is dev mysql database backup
#这个模块的注释信息  
ignore errors
 #可以忽略一些无关的IO错误 
read only = no
#只读 
list = no
#不允许列文件 
auth users = backup
 #认证的用户名，如果没有这行则表明是匿名，此用户与系统无关 
secrets file = /etc/rsync.password
 #密码和用户名对比表，密码文件自己生成 
hosts allow = 192.168.3.24,192.168.3.25
#允许主机 
#hosts deny = *
#禁止主机
uid = root
gid = root

[test]
 #这里是认证的模块名，在client端需要指定 
path = /home/jaiying/
 #需要做镜像的目录,不可缺少！ 
comment = This is dev mysql database backup
 #这个模块的注释信息  
ignore errors
 #可以忽略一些无关的IO错误 
read only = no
# 只读 
write only = no
list = no
 #不允许列文件 
auth users = test
 #认证的用户名，如果没有这行则表明是匿名，此用户与系统无关 
secrets file = /etc/rsync.password
 #密码和用户名对比表，密码文件自己生成 
hosts allow = *
#hosts allow = 192.168.3.27,192.168.3.24#允许主机 
#hosts deny = *

#禁止主机
uid = root
gid = root
服务器端的相关命令
echo "backup:654321" >/etc/rsync.password  //写入密码到密码文件
chmod 600 /etc/rsync.password            //设置密码文件权限为600读写
cat /etc/rsync.password      //查看密码是否成功写入密码文件
ll /etc/rsync.password       //查看密码文件权限是否为600
rsync --daemon          //启动rsync
echo "/usr/bin/rsync --daemon" >>/etc/rc.local  //将文件写入自启动文件中
cat /etc/rc.local|grep daemon //查看是否成功写入
ps -ef|grep rsync  //显示现行终端机下的所有程序并过滤出与rsync有关的
pkill rsync    //结束rsync
rsync --daemon    //启动rsync

4 在B上执行如下的命令

echo "654321" >/etc/rsync.password    //将密码654321写入密码文件中
chmod 600 /etc/rsync.password   //设置密码文件权限为600
cat /etc/rsync.password        //查看密码是否成功写入密码文件
ll /etc/rsync.password       //查看密码文件权限是否成功写入600权限

rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password backup@192.168.7.8::test /data/dev_database

如果测试不能通过，可以在运行rsync进程的服务器上查看相关的日志，日志文件见/var/log/rsyncd.log

5 可以用crontab -e命令把上述的命令写入crontab文件，详细的crontab用户可以baidu

6 通过inotify来实现，inotify监控节点文件的变化，如果文件有变动，那么就启动rsync，将文件实时同步到服务节点上。

服务节点启动rsync服务进程，相关配置文件和命令如下：

vi /etc/rsyncd.conf

#运行RSYNC守护进程的用户 
uid = root
#运行RSYNC守护进程的组 
gid = root
use chroot = no
#不使用chroot 
max connections = 4
 # 最大连接数为4 
strict modes =yes
 #是否检查口令文件的权限 
port = 873
#默认端口873 
pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsync.lock  
log file = /var/log/rsyncd.log 
 
[database]
#这里是认证的模块名，在client端需要指定 
path = /data/dev_database
 #需要做镜像的目录,不可缺少！ 
comment = This is dev mysql database backup
#这个模块的注释信息  
ignore errors
 #可以忽略一些无关的IO错误 
read only = no
#只读 
list = no
#不允许列文件 
auth users = backup
 #认证的用户名，如果没有这行则表明是匿名，此用户与系统无关 
secrets file = /etc/rsync.password
 #密码和用户名对比表，密码文件自己生成 
hosts allow = 192.168.7.8
#允许主机 
hosts deny = *
#禁止主机
uid = root
gid = root

[test]
 #这里是认证的模块名，在client端需要指定 
path = /home/jiaying/
 #需要做镜像的目录,不可缺少！ 
comment = This is dev mysql database backup
 #这个模块的注释信息  
ignore errors
 #可以忽略一些无关的IO错误 
read only = no
# 只读 
write only = no
list = no
 #不允许列文件 
auth users = test
 #认证的用户名，如果没有这行则表明是匿名，此用户与系统无关 
secrets file = /etc/rsync.password
 #密码和用户名对比表，密码文件自己生成 
hosts allow = *
#hosts allow = 192.168.7.8#允许主机 
#hosts deny = 0.0.0.0/0 #禁止主机
uid = root
gid = root

先进行测试：
rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password /home/jaiying test@192.168.3.248::test

如果没有crontab，进行安装 yum install cronie.x86_64
crontab -e进行编辑，进行定时备份
50 11 * * * rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password /data backup@192.168.3.248::database

在要备份的机器上安装inotify
wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
#tar zxvf inotify-tools-3.14.tar.gz
#cd inotify-tools-3.14
#./configure
#make
#make install
#ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch

编写脚本

#脚本1(同步/home/jaiying 目录）
vi rsync.sh
#!/bin/bash
src=/home/jaiying
dst1=test
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib  $src \
| while read files
        do
           /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password $src test@192.168.3.XX::$dst1
                echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
         done

不改变文件属性

rsync -vzropg --delete --progress /data/* root@192.168.7.240://data/  同步目录下的文件和目录

rsync -vzropg --delete --progress /data root@192.168.7.240://data/     同步目录

rsync遇见的问题
1 rsyncd[15116]: params.c:Parameter() - Ignoring badly formed line in config file: ignore errors
在rsync.conf配置文件中取消掉##ignore errors
2 rsync to web/ from ftp@UNKNOWN (192.168.17.4)
需要在/etc/hosts中添加IP地址和hostname的映射关系

5 我具体采用的方案（rsync服务在248机器上，其他机器采用定时器从248上备份）

1. svn代码服务器在10.0.41.34(coder-srv) ，对/data目录进行备份，
    由于rsync的服务在computer1 上，在代码服务器上启用定时器，首先把代码备份到192.168.3.248（computer1 目录下/data/svn_backup。备份时间为1：10）

代码服务器上命令如下：

10 1 * * * /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password /data svn@192.168.3.248::svnbackup

把数据再次备份到192.168.3.247（controller），目录下/data/svn_backup，备份时间为2：10

controller上命令如下：

10 2 * * *  /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password  svn@192.168.3.248::svnbackup  /data/svn_backup

附录：

接下来是rsync的选项说明。

-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)。
-n --dry-run  ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive  ：归档模式，表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive：递归到目录中去。
-t --times：保持mtime属性。强烈建议任何时候都加上"-t"，否则目标文件mtime会设置为系统时间，导致下次更新
          ：检查出mtime不同从而导致增量传输无效。
-o --owner：保持owner属性(属主)。
-g --group：保持group属性(属组)。
-p --perms：保持perms属性(权限，不包括特殊权限)。
-D        ：是"--device --specials"选项的组合，即也拷贝设备文件和特殊文件。
-l --links：如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象。
-z        ：传输时进行压缩提高效率。
-R --relative：使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端，包括它们的属性。用法见下文示例。
--size-only ：默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小。
-u --update ：仅在源mtime比目标已存在文件的mtime新时才拷贝。注意，该选项是接收端判断的，不会影响删除行为。
-d --dirs   ：以不递归的方式拷贝目录本身。默认递归时，如果源为"dir1/file1"，则不会拷贝dir1目录，使用该选项将拷贝dir1但不拷贝file1。
--max-size  ：限制rsync传输的最大文件大小。可以使用单位后缀，还可以是一个小数值(例如："--max-size=1.5m")
--min-size  ：限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude   ：指定排除规则来排除不需要传输的文件。
--delete    ：以SRC为主，对DEST进行同步。多则删之，少则补之。注意"--delete"是在接收端执行的，所以它是在
            ：exclude/include规则生效之后才执行的。
-b --backup ：对目标上已存在的文件做一个备份，备份的文件名后默认使用"~"做后缀。
--backup-dir：指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e          ：指定所要使用的远程shell程序，默认为ssh。
--port      ：连接daemon时使用的端口号，默认为873端口。
--password-file：daemon模式时的密码文件，可以从中读取密码实现非交互式。注意，这不是远程shell认证的密码，而是rsync模块认证的密码。
-W --whole-file：rsync将不再使用增量传输，而是全量传输。在网络带宽高于磁盘带宽时，该选项比增量传输更高效。
--existing  ：要求只更新目标端已存在的文件，目标端还不存在的文件不传输。注意，使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing：要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能，见下文示例。
--remove-source-files：要求删除源端已经成功传输的文件。