rsync同步数据

最新推荐文章于 2024-08-26 18:42:53 发布
最新推荐文章于 2024-08-26 18:42:53 发布
阅读量89 收藏
点赞数
文章标签： 运维 python 操作系统
原文链接：https://my.oschina.net/u/3731306/blog/1917466
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

rsync数据同步工具

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。

如果你的linux没有rsync命令请使用 yum install -y rsync 安装。

其使用语法如下

  • rsync [OPTION]... SRC DEST
  • rsync [OPTION]... SRC [USER@]host:DEST
  • rsync [OPTION]... [USER@]HOST:SRC DEST
  • rsync [OPTION]... [USER@]HOST::SRC DEST
  • rsync [OPTION]... SRC [USER@]HOST::DEST
  • rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

** rsync常用选项**

  • -a 归档模式，表示以递归方式传输文件，并保持所有属性，等同于-rlptgoD, -a选项后面可以跟一个 --no-OPTION 这个表示关闭-rlptgoD中的某一个例如 -a--no-l 等同于-rptgoD

  • -r 对子目录以递归模式处理，主要是针对目录来说的，如果单独传一个文件不需要加-r，但是传输的是目录必须加-r选项

  • -v 打印一些信息出来，比如速率，文件数量等

  • -l 保留软链结

  • -L 向对待常规文件一样处理软链结，如果是SRC中有软连接文件，则加上该选项后将会把软连接指向的目标文件拷贝到DST

  • -p 保持文件权限

  • -o 保持文件属主信息

  • -g 保持文件属组信息

  • -D 保持设备文件信息

  • -t 保持文件时间信息

  • --delete 删除那些DST中SRC没有的文件

  • --exclude=PATTERN 指定排除不需要传输的文件，等号后面跟文件名，可以是万用字符模式（如*.txt）

  • --progress 在同步的过程中可以看到同步的过程状态，比如统计要同步的文件数量、同步的文件传输速度等等

  • -u 加上这个选项后将会把DST中比SRC还新的文件排除掉，不会覆盖

举例分析：

[root@localhost test]# rsync -av /tmp/1.txt /tmp/test2/
sending incremental file list
created directory /tmp/test2
1.txt

sent 759 bytes  received 68 bytes  1,654.00 bytes/sec
total size is 669  speedup is 0.81
[root@localhost test]# cd /tmp/test2
[root@localhost test2]# ls
1.txt
  • 上面这就是语法中的第一种，本地同步文件，-v选项就是现实速率，文件大小等
[root@localhost ~]# rsync -avl /tmp/ root@192.168.254.130:/tmp/
Enter passphrase for key '/root/.ssh/id_rsa': 
root@192.168.254.130's password: 
Permission denied, please try again.
root@192.168.254.130's password: 
sending incremental file list
./
1.txt
.ICE-unix/
.Test-unix/
.X11-unix/
.XIM-unix/
.font-unix/
test/
test/1.txt
test2/
test2/1.txt

sent 2,451 bytes  received 114 bytes  394.62 bytes/sec
total size is 2,007  speedup is 0.78
  • 上面这是语法中的第二种，将本地的/tmp/目录下的文件同步到远程192.168.254.130的/tmp/下，root@是以root的身份，不加这个默认也是root。
[root@localhost tmp]# rsync -avrl root@192.168.254.130:/tmp/ /tmp/

root@192.168.254.130's password: 
receiving incremental file list
./

sent 34 bytes  received 333 bytes  56.46 bytes/sec
total size is 2,022  speedup is 5.51
[root@localhost tmp]# ls
1.txt  2.txt  test  test2
[root@localhost tmp]# ll 2.txt 
lrwxrwxrwx. 1 root root 15 7月  29 17:08 2.txt -> /etc/passwd.old
  • 在这个例子中我们发现，虽然我们成功的将远程机器的/tmp目录同步了过来，且软链接2.txt也同步了过来，但是软链接是报错的，也就是2.txt指向的/etc/passwd.old文件在本地并没有，如果要在数据同步时将/etc/passwd.old这样的软链接文件一起同步，需要使用-L选项。

** 当我们需要使用脚本自动同步远程数据时，脚本中无法根据提示输入远程主机的密码，就需要使用秘钥登录，且秘钥密码为空。** 秘钥登录的配置方法之前介绍过就不再赘述了。

[root@localhost ~]# rsync -avl root@192.168.254.130:/tmp/ /tmp/
receiving incremental file list
./
2.txt -> /etc/passwd.old
asound.conf
dnsmasq.conf
dracut.conf
e2fsck.conf
host.conf
kdump.conf
krb5.conf
ld.so.conf
libaudit.conf
libuser.conf
locale.conf
logrotate.conf
man_db.conf
mke2fs.conf
nsswitch.conf
resolv.conf
rsyncd.conf
rsyslog.conf
sestatus.conf
sudo-ldap.conf
sudo.conf
sysctl.conf
updatedb.conf
vconsole.conf
yum.conf

sent 512 bytes  received 57,070 bytes  38,388.00 bytes/sec
total size is 57,111  speedup is 0.99
  • --delete 选项 删除那些DST中SRC没有的文件
[root@llll tmp]# cp /etc/*.conf /tmp/
[root@llll tmp]# ls
1.txt        dnsmasq.conf  host.conf   ld.so.conf     locale.conf     mke2fs.conf    rsyncd.conf    sudo.conf       test           vconsole.conf
2.txt        dracut.conf   kdump.conf  libaudit.conf  logrotate.conf  nsswitch.conf  rsyslog.conf   sudo-ldap.conf  test2          yum.conf
asound.conf  e2fsck.conf   krb5.conf   libuser.conf   man_db.conf     resolv.conf    sestatus.conf  sysctl.conf     updatedb.conf
[root@llll tmp]# rsync -avl --delete root@192.168.254.100:/tmp/ /tmp/
Enter passphrase for key '/root/.ssh/id_rsa': 
root@192.168.254.100's password: 
Permission denied, please try again.
root@192.168.254.100's password: 
receiving incremental file list
deleting yum.conf
deleting vconsole.conf
deleting updatedb.conf
deleting sysctl.conf
deleting sudo.conf
deleting sudo-ldap.conf
deleting sestatus.conf
deleting rsyslog.conf
deleting rsyncd.conf
deleting resolv.conf
deleting nsswitch.conf
deleting mke2fs.conf
deleting man_db.conf
deleting logrotate.conf
deleting locale.conf
deleting libuser.conf
deleting libaudit.conf
deleting ld.so.conf
deleting krb5.conf
deleting kdump.conf
deleting host.conf
deleting e2fsck.conf
deleting dracut.conf
deleting dnsmasq.conf
deleting asound.conf
./

sent 34 bytes  received 329 bytes  19.62 bytes/sec
total size is 2,022  speedup is 5.57
[root@llll tmp]# ls
1.txt  2.txt  test  test2

在使用ssh的方式远程同步数据的时候，如果ssh服务更改过端口了，则需要指定端口

rsync -avl -e "ssh -port 22" root@192.168.254.100:/tmp/ /tmp/ 就可以了。

转载于:https://my.oschina.net/u/3731306/blog/1917466

weixin_33720956
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux rsync同步数据到指定文件夹，Linux同步代码并且过滤指定目录或者文件
hs_714828299的博客
11-15 1139
比如有一个 /mnt/cfs/web_code/P_PC_SYS/ 下面有几个目录 dira, dirb,dirc,config，.svn 现在要想把 /mnt/cfs/web_code/P_PC_SYS/ 拷贝到 /mnt/cfs/web_code/test/ 下面，但又不想要config ######OK --过滤.svn rsync -av -e ssh --exclude=".s...
群晖rsync同步详解_FreeNas中使用rsync同步文件
weixin_39839726的博客
12-19 7221
声明：本文为本站【NASGEEK】原创文章，未经许可不得转载！FreeNas上有各种方法可以备份同步文件，比如云同步任务、安装syncthing插件等。这里介绍一个十分简便的同步方法：rsync。这是FreeNas系统自带的，你不用额外安装或者设置。一、FreeNas内部文件同步为了提高常用文件访问速度，我在FreeNas中用了一块固态硬盘存储照片等小文件。不过由于固态硬盘价格比较贵，我不想再弄一...
Linux学习（三十）rsync的使用
alexlee0123的博客
01-22 123
一、前言 rsync这个命令是用来同步文件的。比起scp和cp这两个命令，它的灵活性更强。它除了支持增量同步之外，还可以设置目标目录是否和源目录必须一致、设置可以使用rsync服务的主机白名单，设置是否覆盖目标文件中比源目录中新的文件。 总之，这个命令的“出场率”非常高，我们做运维工作的很有必要牢牢掌握。 二、基本用法 我们学一件东西，大多从“依葫芦画瓢”开始。那么，我们就开始“...
rsync文件同步
热门推荐
英雄哪里出来
11-13 30万+
目录 一、rsync 简介 二、rsync 下载、安装 三、rsync 服务器端部署 四、rsync 客户端上传文件 五、参考资料   一、rsync 简介        rsync 用于两台主机间的文件同步，需求是内网可以访问外网，但是外网不能直接访问内网。所以需要一个机制将内网的源码（或者编译好的库）推送到外网。        这里将文件发起方称为客户端，文件接收方称为服务器端。两端系...
解决Enter passphrase for key
alexander_phper的博客
05-03 8683
两种解决方案： １．提示“ Permissions 0644 for ‘~/.ssh/id_rsa.pub’ are too open” 解决方法：使用chmod 0600 ~/.ssh/id_rsa.pub更改将公钥权限改成“600” ２．提示“Enter passphrase for key ~/.ssh/id_rsa.pub”让输入私钥，可不论输与不输都不能直接登录 解决方法： ...
rsync使用（二）
weixin_33674976的博客
08-04 104
一、rsync简介 rsync是Linux/UNIX系统下的文件同步和数据传输工具，它采用“rsync算法”使一个客户机和远程文件服务器之间的文件同步。通过rsync可以将同一个服务器的数据从一个分区备份到另一个分区，也可以将本地系统的数据通过网络传输方式备份到任何一个远程主机上；rsync工作特性第一可以在中断之后恢复传输，第二只传输源文件和目标文件之间不一致...
ssh密匙登录方法及rsync加密传输同步文件设置
a930716的专栏
03-05 3958
首先建立本机的公私密钥 CODE [root@host1 root]# ssh-keygen -t dsa Generating public/private dsa key pair. Enter file in which to save the key (/root/.ssh/id_dsa): Enter passphrase (empty for no passp
rsync 数据同步 实时同步 linux
11-09
### rsync 数据同步详解 #### 一、rsync 概述 **rsync**（Remote Sync）是一款开源软件工具，用于实现高效的文件同步传输。它主要用于远程数据备份、同步以及文件复制，支持增量备份，能够有效地减少网络带宽消耗。...
rsync ssh 数据同步分析
01-10
1.rsync和ssh差异远程同步命令 代码如下: 命令格式： #rsync [option] 源路径 目标路径 其中： [option]： a:使用archive模式，等于-rlptgoD，即保持原有的文件权限 z:表示传输时压缩数据 v:显示到屏幕中 e:使用远程...
几种数据同步共享方法
任何技能都是从模仿开始，逐步升华。
02-26 5707
一、数据库级处理 1.高级复制 Oracle高级复制即可支持基于整个表的复制也可支持基于部分表的复制两种复制方案。这两种复制方案主要是通过Oracle的两种复制机制来完成的，即多主复制和可更新快照复制，同时还可以将这两种复制机制结合起来以满足不断变化的业务需求。 具体配置参考：http://blog.csdn.net/zhangout/article/details/6256568 2
同时操作一个数据、同步数据要注意地方。
weixin_30723433的博客
01-11 226
场景1：同时操作一个数据 比如用户管理模块，如果多个管理员可以同时操作一个用户，默认情况下，后面人的操作会覆盖前面人的修改。比如管理员1在2016/1/11 15:00 01，点击edit， 把user1这个用户的信息，在editUser界面把user1的Sex属性从男改成女了。管理员2在2016/1/11 15:00 02页点击edit，准备编辑user1的信息，只是eidtUser页面加载的...
java 同步数据，同步数据到另一个库中。
weixin_40841731的博客
10-09 1万+
前提：同一个服务器中，同种数据库 实际项目开发中所应用到的场景：每次同步数据时，先删除另一个库中表的数据，再同步。 前提：两个库中的表结构一致；本次所用的是mysql数据库；持久化框架为 mybatis；项目框架spring boot /** * 同步数据到另一个库 * @author * @date 2018-9-5 * @param dataBaseNameNew ...
systemd-journald日志服务：systemd-journald-audit.socket
追寻梦想的青春
08-26 166
systemd-journald的作用是收集系统启动阶段的日志以及服务在启动和运行中的日志，因此，如果服务是用systemd管理的，打印到标准输出的信息就会作为日志被systemd-journal获取到。前面systemd-journald的配置可以看出，日志在保存时可以保存在内存，也可以保存在磁盘，保存在内存中的日志，当机器重启就没了，但是性能会比较好，保存在磁盘中的日志，重启还在，但是性能会差一些。为了提高日志存储的效率，日志保存的格式肯定会采用二进制的方式，因此，无法直接打开日志文件查看，需要使用。
浏览器发送HTTP请求的过程
学Python的小白！
08-25 1245
浏览器发送HTTP请求的过程是一个复杂但有序的步骤，‌主要包括以下几个阶段：‌1.构建请求，2.查找缓存、3.DNS解析、4.建立TCP连接、5.发送HTTP请求、6.服务器处理请求、7.服务器发送响应、8.客户端处理响应、9.关闭连接。
【综合架构】Part 4 SSHD服务
m0_57945360的博客
08-26 239
【综合架构】Part 4 SSHD服务
Kubernetes存储Volume
henanchenxuyuan的博客
08-26 747
数据是一个企业的发展核心,他涉及到数据存储和数据交换的内容。在生产环境中尤为重要的一部分，在 Kubernetes 中另一个重要的概念就是数据持久化 Volume。
docker使用
最新发布
08-26 132
docker cp /path/to/local/file my_container_id:/path/in/container 从容器拷贝文件到本地，或从本地拷贝文件到容器。日志记录：Docker 将会收集和记录每个进程容器的标准流（stdout/stderr/stdin），用于实时检索或批量检索。变更管理：容器文件系统的变更可以提交到新的镜像中，并可重复使用以创建更多的容器。一个容器的镜像通常都徆小，丌适合存大量数据，存储可以通过外部挂载的方式使用。一句话：docker 叧用于计算，存储交给别人。
K8S 版本发版
王小工小工历程
08-21 1107
K8S（Kubernetes）版本发版是一个涉及多个步骤的过程，旨在确保应用程序的顺利升级和部署。
使用Docker部署FunASR服务
shizidushu的博客
08-26 156
其中image部分为刚刚构建的镜像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值