Linux系统中的文件传输优化

最新推荐文章于 2024-08-23 08:57:21 发布
最新推荐文章于 2024-08-23 08:57:21 发布
阅读量174 收藏
点赞数 1
文章标签： linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Thorne_lu/article/details/104336806
版权

文章目录

前言

文件的传输非常常用，是基本功

实验环境

需要两台主机并且保证这两台主机是可以通信的
rhel7:192.168.0.10
rhel8:192.168.0.11

用ifcofig进行查询主机的ip

在企业7这台主机中连接企业8，
ssh root@192.168.0.11

复制文件命令

scp命令

scp 本地文件 远程主机用户@远程主机ip：远程主机目录
scp westos root@192.168.0.11:/mnt/（需要密码且有进度条）
scp -q westos root@192.168.0.11:/mnt/（去掉进度条）
scp -r westosdir root@192.168.0.11:/mnt/（远程传输目录）
scp 远程主机用户@远程主机ip：远程主机目录 本地文件
scp root@192.168.0.11:/mnt/westos_rhel8 /root/Desktop
前面加time可以查看时间。

实验步骤（scp文件传输）：

1.在rhel7里面建立实验素材
touch westos

[root@rhel7_node1 Desktop]# touch haizhihzu  #建立文件

mkdir westosdir

[root@rhel7_node1 Desktop]# mkdir haizhihzudir  #建立文件夹

2.测试
在7中传输文件：

[root@rhel7_node1 Desktop]# scp haizhihzu   root@192.168.0.11:/mnt   #传输文件到目标主机的某个文件夹
root@192.168.0.11's password: 
haizhihzu                                                                       100%    7     1.9KB/s   00:00    
不要进度条：
[root@rhel7_node1 Desktop]# scp -q haizhihzu root@192.168.0.11:/mnt
root@192.168.0.11's password:

在7中传输文件夹：

[root@rhel7_node1 Desktop]# scp  haizhizhudir root@192.168.0.11:/mnt
root@192.168.0.11's password: 
haizhizhudir: not a regular file（不可以用传输文件的方式传输文件夹）
[root@rhel7_node1 Desktop]# scp -r haizhizhudir root@192.168.0.11:/mnt
root@192.168.0.11's password: 
[root@rhel7_node1 Desktop]#

把远程文件复制到本地：

[root@rhel7_node1 Desktop]# scp -r haizhizhudir root@192.168.0.11:/mnt
root@192.168.0.11's password: 
[root@rhel7_node1 Desktop]# scp -r root@192.168.0.11:/mnt/hello /root/Desktop/
root@192.168.0.11's password: 
[root@rhel7_node1 Desktop]#

rsync命令

  • rsync和scp命令的对比
    rsync命令中远程主机已经有的就不会再复制了，更加的智能。
实验步骤（两个命令的对比）：

1.建立实验素材
在rhel中建立文件

dd if=/dev/zero of /mnt/file1 bs=1M count=10（dd=截取，if=inputfile，of=outputfile ，bs=blocksize，count=块的个数）
dd if=/dev/zero of /mnt/file1 bs=2M count=20
dd if=/dev/zero of /mnt/file1 bs=3M count=30
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0336416 s, 312 MB/s

2.在主机之间建立免密登陆使远程文件的传输可以直接执行
在rhel7中：

ssh-keygen（生成密钥）
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.0.11

3.创建测试脚本并进行测试

vim check_scp.sh（scp支持加密，且不会造成磁盘负载加重）
time scp -qr /mnt root@192.168.0.11:/mnt（检测scp的传输时间）
time scp -qr /mnt root@192.168.0.11:/mnt
time scp -qr /mnt root@192.168.0.11:/mnt

vim check_rsync.sh
time rsync -raCq /mnt root@192.168.0.11:/mnt（检测rsync的传输时间）
time rsync -raCq /mnt root@192.168.0.11:/mnt
time rsync -raCq /mnt root@192.168.0.11:/mnt

4.执行结果：

scp命令：
[root@rhel7_node1 Desktop]# sh check_scp.sh 
real	0m2.068s
user	0m0.237s
sys	0m0.633s

real	0m2.050s
user	0m0.452s
sys	0m0.400s

real	0m2.006s
user	0m0.333s
sys	0m0.517s     #三次传送时间几乎相同

rsync命令：
[root@rhel7_node1 Desktop]# sh check_rsync.sh 
real	0m2.481s
user	0m0.422s
sys	0m0.603s    #第一次时间较长，后面两次时间大幅度减少

real	0m0.402s
user	0m0.012s
sys	0m0.016s

real	0m0.368s
user	0m0.013s
sys	0m0.016s

rsync的所耗费时间减少，因为之后制作检测，不进行复制传送的操作

  • rsync用法
    rsync 文件 远程用户@远程主机ip：远程主机目录
    rsync 远程用户@远程主机ip：远程主机目录 文件路径

     [root@rhel7_node1 Desktop]# rsync -r root@192.168.0.10:/mnt/ haizhizhudir   #将本地文件发送到远程主机
 [root@rhel7_node1 Desktop]# rsync -r root@192.168.0.11:/mnt/haizhizhudir .   #将远程主机里的内容复制到当前地址

  • rsync
    -r（复制目录）
    -l（复制连接）
    -p（复制权限）
    -t（复制时间戳）
    -o（复制拥有者）
    -g（复制拥有组）
    -D（复制设备文件）

实验步骤

1.建立实验环境
在rhel8中

[root@rhel8_node1 mnt]# watch -n 1 ls -l /mnt

在rhel7中

先建立5个文件：
[root@rhel7_node1 mnt]# touch /mnt/file{1..5}
[root@rhel7_node1 mnt]# ll
total 0
-rw-r--r--. 1 root root 0 Mar  9 05:24 file1
-rw-r--r--. 1 root root 0 Mar  9 05:24 file2
-rw-r--r--. 1 root root 0 Mar  9 05:24 file3
-rw-r--r--. 1 root root 0 Mar  9 05:24 file4
-rw-r--r--. 1 root root 0 Mar  9 05:24 file5
将文件全部赋予满权限：
[root@rhel7_node1 mnt]# chmod 777 /mnt/*
添加一个新用户：
[root@rhel7_node1 mnt]# useradd westos
将文件加到新用户的权限之下：
[root@rhel7_node1 mnt]# chown westos.westos /mnt/*
将file1链接到file上面：
[root@rhel7_node1 mnt]# ln -s /mnt/file1 /mnt/file
[root@rhel7_node1 mnt]# ll
total 0
lrwxrwxrwx. 1 root   root   10 Mar  9 05:26 file -> /mnt/file1
-rwxrwxrwx. 1 westos westos  0 Mar  9 05:24 file1
-rwxrwxrwx. 1 westos westos  0 Mar  9 05:24 file2
-rwxrwxrwx. 1 westos westos  0 Mar  9 05:24 file3
-rwxrwxrwx. 1 westos westos  0 Mar  9 05:24 file4
-rwxrwxrwx. 1 westos westos  0 Mar  9 05:24 file5

2.执行命令看效果

rsync -r /mnt root@192.168.0.11:/mnt（同步目录本身与其目录中的文件）

[root@rhel7_node1 mnt]# rsync -r /mnt root@192.168.0.11:/mnt

监控台显示：

Every 10.0s: ls -lR /mnt    rhel8_node1.westos.com: Mon Mar  9 05:35:56 2020

/mnt:
total 0
drwxr-xr-x. 2 root root 71 3月   9 05:33 mnt

/mnt/mnt:
total 0
----r-xr-x. 1 root root 0 3月   9 05:33 file1
----r-xr-x. 1 root root 0 3月   9 05:33 file2
----r-xr-x. 1 root root 0 3月   9 05:33 file3
----r-xr-x. 1 root root 0 3月   9 05:33 file4
----r-xr-x. 1 root root 0 3月   9 05:33 file5

rsync -r /mnt/ root@192.168.0.11:/mnt（只同步目录中的文件）

[root@rhel7_node1 mnt]# rsync -r /mnt/ root@192.168.0.11:/mnt
skipping non-regular file "file"

监控台显示：

Every 10.0s: ls -lR /mnt    rhel8_node1.westos.com: Mon Mar  9 05:39:47 2020

/mnt:
total 0
----r-xr-x. 1 root root 0 3月   9 05:38 file1
----r-xr-x. 1 root root 0 3月   9 05:38 file2
----r-xr-x. 1 root root 0 3月   9 05:38 file3
----r-xr-x. 1 root root 0 3月   9 05:38 file4
----r-xr-x. 1 root root 0 3月   9 05:38 file5

rsync -rl /mnt/ root@192.168.0.11:/mnt（同步链接）

[root@rhel7_node1 mnt]# rsync -rl /mnt/ root@192.168.0.11:/mnt

监控台显示：

Every 10.0s: ls -lR /mnt    rhel8_node1.westos.com: Mon Mar  9 05:40:27 2020

/mnt:
total 0
lrwxrwxrwx. 1 root root 10 3月   9 05:40 file -> /mnt/file1
----r-xr-x. 1 root root  0 3月   9 05:40 file1
----r-xr-x. 1 root root  0 3月   9 05:40 file2
----r-xr-x. 1 root root  0 3月   9 05:40 file3
----r-xr-x. 1 root root  0 3月   9 05:40 file4
----r-xr-x. 1 root root  0 3月   9 05:40 file5

rsync -rlp /mnt/ root@192.168.0.11:/mnt（同步权限）

[root@rhel7_node1 mnt]# rsync -rlp /mnt/ root@192.168.0.11:/mnt

监控台显示：

Every 10.0s: ls -lR /mnt    rhel8_node1.westos.com: Mon Mar  9 05:46:11 2020

/mnt:
total 0
lrwxrwxrwx. 1 root root 10 3月   9 05:43 file -> /mnt/file1
-rwxrwxrwx. 1 root root  0 3月   9 05:46 file1
-rwxrwxrwx. 1 root root  0 3月   9 05:46 file2
-rwxrwxrwx. 1 root root  0 3月   9 05:46 file3
-rwxrwxrwx. 1 root root  0 3月   9 05:46 file4
-rwxrwxrwx. 1 root root  0 3月   9 05:46 file5

rsync -rlpog /mnt/ root@192.168.0.11:/mnt（同步用户组）

[root@rhel7_node1 mnt]# rsync -rlpog /mnt/ root@192.168.0.11:/mnt

监控台显示：

Every 10.0s: ls -lR /mnt    rhel8_node1.westos.com: Mon Mar  9 05:47:31 2020

/mnt:
total 0
lrwxrwxrwx. 1 root   root   10 3月   9 05:43 file -> /mnt/file1
-rwxrwxrwx. 1 westos westos  0 3月   9 05:47 file1
-rwxrwxrwx. 1 westos westos  0 3月   9 05:47 file2
-rwxrwxrwx. 1 westos westos  0 3月   9 05:47 file3
-rwxrwxrwx. 1 westos westos  0 3月   9 05:47 file4
-rwxrwxrwx. 1 westos westos  0 3月   9 05:47 file5

rsync -rlpogt /mnt/ root@192.168.0.11:/mnt（同步时间）

[root@rhel7_node1 mnt]# rsync -rlpogt /mnt/ root@192.168.0.11:/mnt

监控台显示：

Every 10.0s: ls -lR /mnt    rhel8_node1.westos.com: Mon Mar  9 05:49:12 2020

/mnt:
total 0
lrwxrwxrwx. 1 root   root   10 3月   9 05:26 file -> /mnt/file1
-rwxrwxrwx. 1 westos westos  0 3月   9 05:24 file1
-rwxrwxrwx. 1 westos westos  0 3月   9 05:24 file2
-rwxrwxrwx. 1 westos westos  0 3月   9 05:24 file3
-rwxrwxrwx. 1 westos westos  0 3月   9 05:24 file4
-rwxrwxrwx. 1 westos westos  0 3月   9 05:24 file5

rsync -rD /dev/pts root@192.168.0.11:/mnt（同步设备文件）

[root@rhel7_node1 ~]# rsync -rD /dev/pts root@192.168.0.11:/mnt

监控台显示：

/mnt:
total 0
drwxr-xr-x. 2 root root 36 3月   9 05:54 pts

/mnt/pts:
total 0
crw-------. 1 root root 136, 0 3月   9 05:54 0
crw-------. 1 root root 136, 1 3月   9 05:54 1
c---------. 1 root root   5, 2 3月   9 05:54 ptmx

文件的归档压缩

在文件多的情况下提高复制效率（归档或者压缩）

  • 文件归档
    tar
    c（创建）
    f（指定文件名称）
    x（解档）
    t（查看）
    r（向归档文件中添加文件）
    –get（解档指定文件）
    –delete（删除指定文件）
    -C（指定解档路径）

实验步骤

1.将实验文件夹复制到桌面：

[root@rhel7_node1 Desktop]# cp -r /etc/ .

查看此文件的大小

[root@rhel7_node1 Desktop]# du -sh /stc/
du: cannot access ‘/stc/’: No such file or directory
[root@rhel7_node1 Desktop]# du -sh /etc/
44M	/etc/

2.开始归档

[root@rhel7_node1 Desktop]# tar cf etc.tar /etc
tar: Removing leading `/' from member names
[root@rhel7_node1 Desktop]# du -sh etc.tar
39M	etc.tar   #此处看起来变小了，其实是没有计算重复的链接所链接的文件

3.查看归档文件内容

[root@rhel7_node1 Desktop]# tar tf etc.tar

4.用命令行将外面的文件打包进已打包到压缩包中

[root@rhel7_node1 Desktop]# tar rf etc.tar hello

5.将压缩文件都取出

[root@rhel7_node1 Desktop]# tar xf etc.tar

6.单独解出某一个文件

[root@rhel7_node1 Desktop]# tar f etc.tar --get hello

7.删除压缩文件中的其中一个

[root@rhel7_node1 Desktop]# tar f etc.tar --delete hello

8.将压缩文件解绑到指定目录

[root@rhel7_node1 Desktop]# tar xf etc.tar -C /mnt

  • 文件的压缩（归档完才可以压缩,压缩程度越高，效率越低）
    zip(16M)
    zip -r etc.tar.zip etc.tar（zip格式压缩）
    unzip etc.tar.zip（解压）

      压缩：
  [root@rhel7_node1 Desktop]# zip -r etc.tar.zip etc.tar
    adding: etc.tar (deflated 70%)
  [root@rhel7_node1 Desktop]# du -sh etc.tar.zip 
  16M	etc.tar.zip
  [root@rhel7_node1 Desktop]# du -sh etc.tar
  39M	etc.tar
  解压缩：
  [root@rhel7_node1 Desktop]# unzip etc.tar.zip
  Archive:  etc.tar.zip
    inflating: etc.tar

    gzip(12M)
    gzip etc.tar
    gunzip etc.tar.gz
    bzip2 (10M)
    bzip2 etc.tar
    bunzip2 etc.tar.bz2
    xz (8M)
    xz etc.tar
    unxz etc.tar.xz

  • tar+压缩（tar的压缩格式没有zip）
    gzip
    tar zcf etc.tar.gz /etc（压缩）
    tar zxf etc.tar.gz（解压）
    bzip2
    tar jcf etc.tar.bz2 /etc
    tar jxf etc.tar.bz2
    xz
    tar Jcf etc.tar.xz /etc
    tar Jxf etc.tar.xz

    可以看看tar的文档：

      Common options:
  		...
         -j, --bzip2
                filter the archive through bzip2
  
          -J, --xz
                filter the archive through xz
  		...
  
         -z, --gzip
                filter the archive through gzip

后记

本节的命令比较多，记忆起来有一定困难，也容易混淆。

海蜘蛛er
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux系统传输大文件报错_运维错题总结（一）
weixin_39991305的博客
12-30 6500
1、对linux下mysqldump备份命令的参数描述正确的是mysqldump -h ip -uroot -p DBNAME > bck.sql解释：-h 主机名 -u 用户名 -p 密码DBNAME 数据库名2、linux中，一个端口能够接受tcp链接数量的理论上限是无上限解释：标识一个tcp链接的是，客户端和服务器的ip加端口号，尽管服务器ip地址和端口号一...
Linux系统性能优化
05-22
Linux系统性能优化是确保系统高效稳定运行的重要手段，涉及多个层面的考量和操作。在进行性能优化之前，我们需要了解影响Linux系统性能的各种因素，并且掌握一系列优化工具与方法。 一、影响Linux性能的各种因素 1...
linux服务器如何提高复制数据的效率
york1996的博客
10-17 763
-size-only 默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小。--include=PATTERN 指定不排除而需要传输的文件模式。--exclude=PATTERN 指定排除不需要传输的文件模式。t保持mtime属性。z传输时压缩文件，提高效率。u跳过已经存在的文件。
Linux系统中磁盘管理与文件系统
weixin_58376680的博客
12-27 1176
提高硬盘的性能优化I/0性能 读写input output实现磁盘空间配额限制提高修复速度隔离系统和程序安装多个OS采用不同文件系统。
Linux系统中内核参数优化技术
prop428的博客
03-28 1270
通过本文对Linux系统中内核参数优化技术的介绍，相信读者对内核参数优化的原理、方法和实际操作有了更深入的了解。通过优化网络参数、文件系统参数和内存管理参数等方面的设置，可以提升系统的性能和稳定性，适应不同应用场景下的需求。在实际运维和系统优化工作中，务必根据具体业务需求和系统环境选择合适的内核参数优化策略，并进行性能测试和验证，以确保优化效果的有效实施。扫码进群领资料。
Linux系统优化及性能调优
qq_64612585的博客
03-17 1974
SELinux（Security-Enhanced Linux）是一种强制访问控制（MAC）安全机制，它在Linux操作系统中提供了额外的安全层。SELinux是由美国国家安全局（NSA）开发的，旨在提供对进程、文件和日志的访问控制策略。SELinux通过定义一系列的安全策略来控制应用程序和用户对系统资源的访问。这些策略定义了哪些用户和程序可以访问系统上的资源，以及它们可以执行哪些操作。Linux系统中的防火墙主要通过iptables或firewalld服务来管理。
Linux基础设置和系统优化
P_ayne的博客
07-18 1596
使用Linux系统登入过后可以查看到以下这些信息，其中包括登入的账户名、服务器的主机名、上次登录服务器的时间、登入的ip等信息。最左端的root显示的是目前用户的账号，@之后接的是elk则为主机名，最右边的~指的是当前所在目录则是提示字符。tips：默认root账户的提示字符为#，一般账户的提示字符为$
Linux系统的磁盘管理与文件系统
F12138X的博客
04-15 1604
Extended file system 适用于那些分区容量不是太大，更新也不频繁的情况，例如 /boot 分 区是。设置分区类型ID，常用的有 83 默认的linux类型，82 swap 81 LVM，fd RAID。也就是主引导记录，位于硬盘的 0 磁道、0 柱面、1 扇区中，主要记录了启动引导程序和磁。磁盘的磁头和盘片互不接触，是。设置分区号，主分区/扩展分区 1-4 逻辑分区从 5 开始。硬盘的顺序号，表示的第几块硬盘，以a、b、c…分区的顺序号，表示第一块硬盘接口的第5个分区。
linux文件传输优化的几种方法
thermal_life的博客
02-13 1992
一、 scp远程复制命令 二、rsync远程同步命令 三、scp和rsync的区别 四、文件归档 五、文件压缩
Linux磁盘与文件系统管理
qq_57093716的博客
12-27 2268
磁盘与文件系统管理
Linux 知：文件系统
canpool
02-19 2409
“一切皆是文件” 是 Unix/Linux 的基本哲学之一。这句话中的 “文件” 不仅仅是指我们通常所说的文件，而是指 Linux 世界中的所有、任意、一切东西都可以通过文件的方式访问和管理。它是一个抽象的概念，这才符合哲学意味。linux 中有 7 种文件类型：普通文件、目录文件、块设备文件、字符设备、套接字文件、管道文件、链接文件。这些文件都可以用一套相同的API（如：open/read/write/close等）进行操作。这正好又符合 Unix/Linux 的另一个哲学思想“简单原则”，即著名的 KI
嵌入式Linux文件系统的优化.pdf
09-06
总的来说，嵌入式Linux文件系统的优化是一项涉及操作系统内核、文件系统、I/O子系统等多个层面的技术工作，其目标是提高系统效率，满足高速数据传输的需求，尤其对于高清视频等大数据量应用至关重要。通过深入理解...
嵌入式Linux中安全文件传输系统的设计与实现.pdf
09-06
在嵌入式Linux环境中，设计和实现安全文件传输系统是至关重要的，因为随着Linux操作系统的广泛应用，网络安全问题日益凸显。在商业、金融、国防等领域，以及日常生活中，Linux平台的网络通信扮演着关键角色。然而，...
基于嵌入式Linux的无线文件传输系统的实现.pdf
09-06
"基于嵌入式Linux的无线文件传输系统的实现.pdf" 本文将对基于嵌入式Linux的无线文件传输系统的实现进行详细的分析和介绍。 嵌入式Linux 嵌入式Linux是一种基于Linux操作系统的嵌入式系统解决方案。它将Linux操作...
Linux下基于TCPIP的文件传输系统.doc
11-29
在Linux系统中，存在许多成熟的FTP客户端和服务器软件，如vsftpd、ProFTPD等，它们提供了稳定可靠的文件传输服务。然而，这些现成的解决方案可能无法满足特定场景下的定制化需求，因此，基于TCP/IP的文件传输系统的...
多进程和多线程基础概念LINUX
2301_79109608的博客
08-22 1085
直接访问物理地址,会导致地址空间没有隔离,很容易导致数据被修改通过虚拟地址空间可以实现每个进程空间都是独立的，操作系统会映射到不用的物理地址区间，在访问时互不干扰.进程状态分为三个基本状态，即运行态，就绪态，阻塞态。在五态模型中，进程分为新建态、终止态，运行态，就绪态，阻塞态。并发：有限的 cpu 核芯的情况下 ,利用快速交替(时间片轮转)执行来达到宏观上的同时执行。虚拟地址 : 虚拟地址并不代表真实的内存空间,而是一个用于寻址的编号。并行：在 cpu 多核的支持下，实现物理上的同时执行。
Linux 线程的控制 互斥与同步
最新发布
qq_63145217的博客
08-23 917
include //头文件sem_t sem;信号量的类型 信号量的变量。
在Linux上构建Windows应用程序：深入探索跨平台开发的实践与挑战
w651428055的博客
08-21 1100
在Linux上构建Windows应用程序，不仅拓宽了开发者的技能范围，也为软件产品的多平台部署提供了灵活性和成本效益。虽然这一过程面临挑战，但通过合理选择工具、框架和策略，可以有效地克服这些障碍。随着技术的不断进步，跨平台开发将变得更加成熟和便捷，为软件开发带来更多的可能性和机遇。未来，随着更多高效工具和框架的出现，跨平台开发的效率和质量有望进一步提升，为软件工程领域注入新的活力。
Linux中信号量相关接口及环形队列
2301_77479435的博客
08-22 331
Linux中信号量相关接口及环形队列
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值