【Linux】【杂谈】传输大文件

Nightwish5

已于 2023-06-05 17:47:02 修改

阅读量447

点赞数

分类专栏：运维文章标签： linux 服务器运维

于 2023-05-19 22:06:30 首次发布

本文链接：https://blog.csdn.net/Nightwish5/article/details/130774697

版权

运维专栏收录该内容

42 篇文章 2 订阅

订阅专栏

环境说明

debian系列的系统
服务器A 192.168.1.100 , 服务器B 192.168.1.101 ，   test.sql有20GB大小

问题描述

xshell连接服务器，服务器自身有TMOUT=600 的会话保持限制。
堡垒机自身也有大概15分钟的会话保持。 传输20GB的文件需要一段时间，就算这期间按回车，也会掉线

方法小结：

可先压缩，再传输 （时间换空间，空间换时间）
#1 scp 10MB/s
scp -rp test.sql test@192.168.1.101:/data/

#2 rsync 25MB/s
rsync -avz --progress test.sql test@192.168.1.101:/data/
#增量传
rsync -avz --progress  --delete --update test.sql test@192.168.1.101:/data/

3、 去到机房，使用移动硬盘拷贝数据，传输给另一台服务器。

4、使用VNC等图形化界面，打开终端，在这个终端上使用scp/rsync指令传文件。 （这样就不用担心由于会话保持超时，导致掉线）

5、进入screen会话，再用rsync/scp传输。

#linux scp后台运行的办法
参考：https://blog.csdn.net/joyirine/article/details/129712710
在这里插入图片描述

其他

Tar增量备份梳理

tar -g snapshot -zcf backup_full.tar.gz test
tar -g snapshot -zcf backup_incremental_1.tar.gz test
tar -g snapshot -zcf backup_incremental_2.tar.gz test
和
tar -g tarinfo -czf backup-full.tar.gz wang/
tar -g tarinfo -czf backup-incre1.tar.gz wang/

参考： Linux下Rsync和Tar增量备份梳理《https://www.cnblogs.com/kevingrace/p/6601088.html》