关闭

linux rsync详解

标签: Linux脚本
696人阅读 评论(0) 收藏 举报
分类:

http://www.moncleronlinemarts.com/2011/04/linux-rsync1/

官网主页

http://www.samba.org/rsync/

Rsync: 有史以来最好的备份系统

http://blog.chinaunix.net/u1/58969/showart_461524.html

rsync 服务器架设方法 v0.1b (正在修订中)

http://www.linuxsir.org/main/?q=node/256

Backing up your files with rsync(参考一下英文文档,会显得比较有档次,哈哈)

http://articles.slicehost.com/2007/10/9/backing-up-your-files-with-rsync

测试环境

下面的测试有2台机器组成:

1虚拟机(OS:cenos5.4) 172.16.251.241 做源服务器

2 free服务器(OS:freebsd8.0)172.16.251.45 做目标服务器

文档写于2010.8.21

什么是rsync

Rsync 是一个小巧的算法的强大实现。

它最基本的功能是高效地镜像一个文件系统的能力。使用 rsync,可以灵活地选用一组网络协议,诸如 nfs、smb 或 ssh,方便地让一个文件系统与另一个文件系统保持同步更新。

Rsync 的第二个功能,也就是备份系统使用的功能,它可以把已经发生改变或是被删除的文件的老的版本归档。Rsync 的功能太多了,不可能在这里一一叙述,笔者强烈建议读者阅读 rsync.samba.org 上的资料来研读 rsync。

结论:1我们一般只使用第一种同步复制文件的功能,这个功能最大的用处就是备份,他的最大优点就是:

1)只备份改变的文件,因此备份速度特别快,而scp是不具备这样功能的。

2)不用架设rsync服务器,只需要一个ssh自动登陆,一个cron, 就可以做到异地定时备份,比tar打包然后scp传输方便很多!

3)支持被覆盖和删除的文件存档,任何文件的历史记录都能找到

2也可能会用到镜像的功能,这样主服务器一旦当掉,马上启用备服务器的镜像文件

3 用于发布源代码

Svn的服务器将源代码检出到本地,然后用手动操作一个rsync脚本,同步到生产环境的nfs服务器上去。

通常的备份策略

1每日定时直接执行rsync脚本,同步主服务器和备份服务器

2然后每周定时执行脚本,调用tar命令 , 在备份服务器上打包归档。(这步可以不做,因为rsync可以保留被覆盖或者被删除的文件)

安装rsync

Centos一般都是自带的

而free下需要安装 , whereis rsync找到位置 , 然后port安装即可

基本的rsync语法

用man rsync看到各种命令详细解释

语法是这样的:和scp很类似,scp –r /backup root@172.1.251.45:/etc

rsync –av /backup root@172.1.251.45:/etc

1rsync [OPTION]… SRC [SRC]… DEST

2 rsync [OPTION]… SRC [SRC]… [USER@]HOST:DEST

3rsync [OPTION]… SRC [SRC]… [USER@]HOST::DEST

4rsync [OPTION]… SRC [SRC]… rsync://[USER@]HOST[:PORT]/DEST

5rsync [OPTION]… SRC

6rsync [OPTION]… [USER@]HOST:SRC [DEST]

7rsync [OPTION]… [USER@]HOST::SRC [DEST]

8rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]

可以看到:1我们可以在源服务器上执行rsync, 也可以在目标服务器执行rsync都是可以的, 我个人的喜欢是在目的也就是备份的服务器上执行的rsync

2 第5个的意思是

Usages with just one SRC arg and no DEST arg will list the source files

instead of copying.

这个命令最大的好处在于可以计算你要复制的文件有哪些,可以对比复制以后的文件数量,看是否复制成功,后面解释

3 :和::的区别在于,前者利用系统自带的ssh 等传输,而::是利用rsync 服务器的协议来传输。

当然, ::模式和rsync://[USER@]HOST[:PORT]/模式是等效的

例子:最常用的复制-av 最好记的参数,av ,大家都知道这个词

我想把虚拟机(OS:cenos5.4) 172.16.251.241的内容拷贝到free服务器(OS:freebsd8.0)172.16.251.45上

登陆到172.16.251.45上 进入/root 是没有bashshell这个文件夹的

在目标服务器172.16.251.45上执行以下命令

rsync -av -e ssh root@172.16.251.241:/root/bashshell /root/bashshell 2> /root/rsync_error

1以上的句子用的是第6种语法,将远端主机172.16.251.241的:/root/bashshell 上的内容拷贝到本地主机的/root/bashshell 上

2 参数

-a, –archive

This is equivalent to -rlptgoD. It is a quick way of saying you

want recursion and want to preserve almost everything (with -H

being a notable omission). The only exception to the above

equivalence is when –files-from is specified, in which case -r

is not implied.

Note that -a does not preserve hardlinks, because finding multi-

ply-linked files is expensive. You must separately specify -H.

-a 参数,相当于-rlptgoD,-r 是递归 -l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件;

这个参数又叫“归档”,不过我觉得应该叫做“all”,因为他就是把文件连同全部属性一起拷贝走了

v显示详细拷贝过程

av通常是必备的!!!

-e ssh指定使用ssh方式 ,如果不用这个参数也可以复制,默认的就是ssh,还可以设定端口

-e ‘ssh -p 30000′: this ensures rsync uses the SSH protocol and sets the port.

3 2> /root/rsync_error

显示错误的日志

为了避免将日志文件删除,(后面说到—delete参数) ,请不要将这个日志文件放到要拷贝的文件夹下面 ,也就是说2> rsync_error是不行的。

4以上句子实际上存在问题的

因为最后生成的结果是这样

/root/bashshell/bashshell 多出一个bashell文件夹了

为什么呢,因为 系统判断:我复制的是一个叫做bashshell的文件夹,因此我会在目标服务器,新建路径/root/bashshell (不管这个路径是否存在),然后在这个路径下 新建文件夹 bashell ,然后将其内部数据全部复制,这样形成了/root/bashshell/bashshell

正确的写法 :目标路径只需要写为/root即可。

其实这个问题是linux固有性质,你mv /root/bashshell /

打开根目录一看,实际上还是存在/bashshell。

因为移动的是“文件夹”bashshell , 而不是里面的文件。

这点需要小心!!!!

5如果复制单个文件的话,是不会自动新建目标的路径的,比如我复制文件123到目标/root/test下面,但是/root/test这个路径是不存在的,那么需要事先手动新建好,这个问题也要注意!!

问题:现在我要求目标数据和源的数据完全一致的,怎么办? –delete参数

首先搞清楚几件事,对于源服务器文件的删除,修改和增加,同步以后是怎么处理的?

1 如果源机器修改了文件 ,那么rsync应该怎么处理

答案:应该目标机器和源机器文件内容一致,即目标机器的那个文件会被覆盖为最新的同名文件

源机器有一个123的文件

[root@CentOS5-4 bashshell]# cat 123

11111

执行rsync同步,这时候目标机器123也应该为11111

然后修改源机器

[root@CentOS5-4 bashshell]# cat 123

22222

再次执行 rsync , 目标机器也会变成22222

[root@free /tmp]# cat bashshell/123

22222

2第二个问题:源服务器增加了文件,同步会怎么做?

源服务器新增了一个touch文件

执行rsync以后

目标服务器出现了123文件

3第三个问题:源服务器删除了文件,目标服务器怎么做?

比如源服务器删除了xxxwenjian

Rm xxx

但是执行rsync以后,目标服务器是不会删除这个文件的

问题就在这里,如果想要删除这个文件,必须加—delete参数

结论:如果想要源和目标同步,也就是目标和源一样,那么必须增加—delete参数

小心:用的时候要小心点,最好不要把已经有重要数所据的目录,当做本地更新目录,否则会把你的数据全部删除。千万当心了!!

问题:如果我想保留—delete删除或者修改过的文件,方便以后寻找怎么办?用—-backup –backup-dir=`date +%Y-%m-%d`

用—backup可以解决2个问题:

1 delete会删除源服务器没有,而目标服务器上有的文件,应该如何保留这些文件

2 源服务器修改了文件,但是现在更新了文件。

一旦同步,目标服务器会更新成和源服务器一样最新的文件,但是现在我想保留原来的老版本的文件怎么办?

用backup一切都可以得到解决

测试1:首先同步 ,然后源服务器删除了文件xxx

执行

[root@free /tmp]# rsync -av –delete –backup –backup-dir=`date +%Y-%m-%d` root@172.16.251.241:/root/bashshell /tmp 2> /root/rsync_error

root@172.16.251.241′s password:

receiving file list … done

deleting bashshell/xxx

bashshell/

可以看到 文件xxx被删除了

但是可以在这里找到这个文件,2010-08-20就是=`date +%Y-%m-%d` 生成的文件夹

[root@free /tmp]# ls /tmp/2010-08-20/bashshell/xxx

/tmp/2010-08-20/bashshell/xxx

–backup-dir=`date +%Y-%m-%d` 会在DEST也就是/tmp下生成对应的日期文件,用来存在删除的数据!!!

如果一小时同步一次的话,可以使用更加详细的date模式。

[root@free /tmp]# date ‘+%Y-%m-%d-%H’

2010-08-20-10

这里的10代表早上10点

测试2 保存修改以后的文件

源服务器上的文件123

[root@CentOS5-4 bashshell]# cat 123

111

现在修改里面内容为222

执行同步

[root@free /tmp]# rsync -av –delete –backup –backup-dir=`date +%Y-%m-%d` root@172.16.251.241:/root/bashshell /tmp 2> /root/rsync_error

root@172.16.251.241′s password:

receiving file list … done

bashshell/123

会显示123传输的字样,目的服务器上123会被覆盖为新的123,内容为222

查看目标服务器上的123文件

[root@free /tmp]# cat bashshell/123

222

但是原来的文件123 ,也就是内容为111的, 会被存档在这里!!

[root@free /tmp]# cat /tmp/2010-08-20/bashshell/123

111

结论:以下结构比较完美了

rsync -av –delete –backup –backup-dir=`date +%Y-%m-%d` root@172.16.251.241:/root/bashshell /tmp 2> /root/rsync_error

可以实现目标绝对和源保持一致,还可以将修改删除的文件保存下来,避免以后需要时候找不到

问题:如果一个文件一天修改多次,但是因为rsync只同步一次,最多一天只能保存一个修改的版本,所以利用rsync监视每一个文件修改的版本是不现实的。他的作用只是尽最大可能的备份。

最好还是用svn来保存每个文件的修改版本。

问题: 我想得到详细的rsync同步过程日志内容怎么办?

加上一句1>>/tmp/`date +%Y-%m-%d`.log 可以得到每次同步的详细信息

我因为一天备份一次 ,以上语句够用了

如果每小时或者不定时备份的话

最好加上小时分秒 这样更加直观 可以知道具体什么时间做的

研究下man date即可得知怎么写

问题:想要rsync自动登陆服务器怎么办?

通常我们rsync都是不同机器之间备份,如果同一个机器,还需要备份吗?

现在的问题是 ,每次执行rsync都必须输入密码,手动同步倒是无所谓,但是如果要自动同步,也就是写到cron每天同步一次怎么办,必须实现自动输入密码

实现自动登陆的方法很多种:

1 利用ssh的自动登陆方法,两边保留钥匙,这个办法最简单方便的,但是安全性存在问题,因为就算你登陆用户密码无论怎么改,客户机也能登陆上去,非常牛逼,所以最好登陆用户为一般用户。

2 expect脚本自动输入,很麻烦。

3 在要访问的那台机器建立rsync服务器,然后用自定义的密码文件访问。

也就是使用 –password-file 这个参数,登陆远端的rsync服务器,这个也很麻烦

一般都是用第一种办法:详细的参看笔记ssh那章

以下是过程:

1 在客户端生成密钥

目的机器登陆源机器,所以目的机器为客户端,在这台机器产生密钥,首先我目的机器是free服务器,不是很重要的,所以设置的操作用户为root即可

这台机器是 freebsd,但是 ,生成密钥的命令的和linux一样

下面可以看到,公匙被自动保存到了/root/.ssh/id_rsa.pub

验证文件被保存到了 /root/.ssh/id_rsa

[root@free /tmp]# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

ea:9d:50:94:85:33:3a:01:ae:98:1f:f1:bd:17:6f:24 root@free.cd

The key’s randomart image is:

+–[ RSA 2048]—-+

| .. .. |

| . . +o |

| . . ooo |

| o + .o. |

|o o . ..E . |

| . . + = |

| . + . o |

| . + o |

| . o |

2

2将公匙拷贝到服务器登陆那个用户的家目录下

~/.ssh/id_rsa.pub root@172.16.251.241:/home/yjwan

这里我为了安全起见,并不想客户端登陆源服务器的时候,用root密码,所以我准备用一个一般用户 yjwan , 作为登陆的用户,你可以建立一个,因此,我把公共密钥拷贝到了/home/yjwan下

3很重要的一步

在源服务器上操作,在用户yjwan家目录下建立 .ssh文件夹 ,进入这个文件夹,并且将上一级的那个id_rsa.pub内容写入到authorized_keys文件

[root@CentOS5-4 yjwan]# pwd

/home/yjwan

[root@CentOS5-4 yjwan]# mkdir .ssh

[root@CentOS5-4 yjwan]# cd .ssh

[root@CentOS5-4 .ssh]# cat ../id_rsa.pub >>authorized_keys

4在客户端也就是目标服务器上 ,测试一下 是否大功告成了

[root@free /tmp]# rsync -av –delete –backup –backup-dir=`date +%Y-%m-%d` yjwan@172.16.251.241:/home/yjwan /tmp 2> /root/rsync_error

我用yjwan登陆的 yjwan@172.16.251.241 复制的是:/home/yjwan 因为yjwan用户对这个路径必定有读取权限

执行这个命令以后,passwd的字样不会弹出,直接开始同步了。可以证明 ,不用输入密码 ,也可以传输文件了

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:486592次
    • 积分:3977
    • 等级:
    • 排名:第8387名
    • 原创:70篇
    • 转载:76篇
    • 译文:2篇
    • 评论:14条
    文章分类
    最新评论