文件传输优化

最新推荐文章于 2024-07-06 11:35:37 发布
最新推荐文章于 2024-07-06 11:35:37 发布
阅读量261 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43834060/article/details/104274637
版权

一.SCP

scp可以向远程主机中上传文件也可以从远程主机中下载文件。
上传文件：scp 本地文件 远程主机用户@远程主机ip：远程主机目录
下载文件：scp 远程主机用户@远程主机ip：远程主机目录 本地文件
准备两台虚拟机：虚拟机1:rhel7,ip为192.168.0.10，虚拟机2:rhel8,ip为：192.168.0.11，确保两台虚拟机之间可以互相连接，我用rhel7去连接rhel8.

在rhel7桌面上建立文件file，建立目录dir
在这里插入图片描述在rhel8中监控/mnt目录，在rhel7中将文件file上传到rhel8中的/mnt目录下
在这里插入图片描述在这里插入图片描述上传目录时要加上参数-r
在这里插入图片描述在上传文件时，在shell中会显示上传进度条，上传时加上参数-q将不会显示
在这里插入图片描述将rhel7桌面上的文件file删掉并从rhel8中将它们重新下载到rhel7的桌面上
在这里插入图片描述将rhel7桌面上的目录dir删掉并从rhel8中将它们重新下载到rhel7的桌面上
在这里插入图片描述

二.rsync

rsync和scp的用法相类似，rsync也能够向远程主机中发送文件或者从远程主机中下载文件到本地主机中
上传文件：rsync 本地文件 远程主机用户@远程主机ip：远程主机目录
下载文件：rsync 远程主机用户@远程主机ip：远程主机目录 本地文件
在rhel7中/mnt下建立文件file1-file5，在rhel8中监控/mnt目录变化
在这里插入图片描述改变文件拥有者，文件权限以及建立链接文件
在这里插入图片描述在这里插入图片描述
在这里插入图片描述将rhel7中/mnt下的文件上传到rhel8中，此处要注意下面两个语句的区别

rsync -r /mnt root@192.168.0.11:/mnt

rsync -r /mnt/ root@192.168.0.11:/mnt

第一个命令会将/mnt这个目录本身也上传给远程主机，第二个命令只是将/mnt目录下的文件上传给远程主机
在这里插入图片描述在这里插入图片描述并且从实验结果来看，提示我们链接文件被跳过了
将链接文件也上传加参数-l
在这里插入图片描述上传到远程主机中的文件和本地主机中文件的权限，所有人以及时间戳是不同的，如下图所示
在这里插入图片描述同步文件权限加参数-p
在这里插入图片描述同步所有人所有组加参数-og
在这里插入图片描述在远程主机中文件拥有者为1001是因为在本地主机中student用户的id为1001
在这里插入图片描述同步时间戳加参数-t
在这里插入图片描述同步设备文件加参数-D
不加参数时会显示将所有的设备文件都跳过
在这里插入图片描述加上参数D上传成功
在这里插入图片描述rsync常用的参数总结如下：

-r复制目录
-l复制链接
-p复制权限
-t复制时间戳
-o复制拥有者
-g复制拥有组
-D复制设备文件

三.scp和rsync的区别

在/mnt下建立所需文件
在这里插入图片描述dd 截取命令
if=inputfile
of=outputfile
bs=blocksize
count=块的个数
上图中的命令是指在本地主机中/mnt下建立三个文件，其中file1是从文件/dev/zero中截取十个大小为1M的数据，file2中截取二十个，file3中截取三十个
用time可以检测命令执行时间
在这里插入图片描述
从上述实验中我们直到每次向远程主机中发送文件时，都需要我们输入远程主机的密码，这样会占据命令的执行时间，我们可以在两台主机之间建立openssh key，这样上传文件就不再需要密码
在这里插入图片描述在这里插入图片描述在这里插入图片描述创建脚本1（用scp上传文件）
在这里插入图片描述在这里插入图片描述执行脚本文件显示用scp上传三次目录所需要的时间
在这里插入图片描述创建脚本2
在这里插入图片描述在这里插入图片描述在这里插入图片描述由以上实验可知，当用scp上传文件时，三次上传时间基本相同，所以scp不具有相同文件检测的功能，而rsync上传文件时可以看到，第一次上传时消耗的时间为1.321s，后两次时间远远小于第一次的时间，说明，用rsync上传文件时会检测所上传的文件在远程主机中是否存在，如果存在则不会二次上传

四.文件的归档以及压缩

  • 文件归档解档

文件归档所用的命令为tar，常用的参数如下

c创建
f指定文件名称
x解档
t查看
r向归档文件中添加文件
- -get解档指定文件
- -delete删除指定文件
-C指定解档路径

在本地主机中将/etc归档，会出现一个箱子一样的文件
在这里插入图片描述
注意，归档后产生的是一个文件
在这里插入图片描述
查看归档文件的内容
在这里插入图片描述向归档文件中添加新的文件
在这里插入图片描述解档文件
在这里插入图片描述只解档文件file
在这里插入图片描述将归档文件中的文件file删除
在这里插入图片描述将归档文件解档到指定的目录下
在这里插入图片描述

  • 文件压缩解压
    文件压缩有四种格式：zip，gz，bzip2，xz
    1、zip格式压缩解压
    压缩
    在这里插入图片描述原归档文件的大小
    在这里插入图片描述
    zip格式压缩后文件大小为12M
    在这里插入图片描述
    将桌面上的归档文件删除后解压
    在这里插入图片描述2、gz格式的压缩解压
    压缩，压缩完成后原来的归档文件会自动删除
    在这里插入图片描述gz格式压缩后大小为12M
    在这里插入图片描述
    解压，解压完成后原来的gz压缩文件会删掉
    在这里插入图片描述3、bzip2格式的压缩解压
    压缩，和gz格式类似
    在这里插入图片描述bzip2格式压缩后大小为10M
    在这里插入图片描述
    解压
    在这里插入图片描述4、xz格式的压缩解压
    压缩，和gz以及bzip2格式类似
    在这里插入图片描述压缩后文件大小为8M
    在这里插入图片描述
    解压
    在这里插入图片描述
  • 归档压缩同时完成
    这种方式不能应用于zip格式压缩，其他三种方式适用
    1、gz格式
    归档压缩
    在这里插入图片描述解压解档
    在这里插入图片描述2、bzip2格式
    归档压缩
    在这里插入图片描述解压解档
    在这里插入图片描述3、xz格式
    归档压缩
    在这里插入图片描述解压解档
    在这里插入图片描述
易烊千玺玊尔
关注
QT学习之文件传输和断点续传
08-31
断点续传是一项重要的文件传输优化技术，尤其是在大文件传输或网络不稳定的情况下。它允许在传输中断后从上次停止的地方继续，而不需要重新开始整个传输过程。实现断点续传的关键在于记录已传输的数据量，并在重新...
分布式存储系统中文件传输优化的设计与实现
12-15
### 分布式存储系统中文件传输优化的设计与实现 #### 摘要 在现代信息技术领域，分布式存储系统因其能够有效提升数据处理能力和系统可靠性而备受关注。然而，在实际应用中，尤其是广域网环境下，如何高效地进行...
Linux —— 文件传输优化
dsd的博客
02-12 261
实验环境 两台可以互相通信的主机，这里我使用的是rhel8.1和rhel7.6两个虚拟机。 rhel8：192.168.43.11 rhel7：192.168.43.10 scp命令 a) 把本地文件复制到远程主机 scp 本地文件 远程主机用户@远程主机ip：远程主机目录 命令 作用 scp 本地文件 远程主机用户@远程主机ip：远程主机...
系统中的文件传输优化
weixin_21583810的博客
04-05 169
1 scp scp 本地文件 远程主机用户@远程主机ip：远程主机目录 scp 远程主机用户@远程主机ip：远程主机目录 本地文件 1.1 把本地文件复制到远程主机 若不想显示进度条可加-q [root@westos Desktop]# scp -q hh root@192.168.0.11:/mnt root@192.168.0.11's password: 传输目录加-r 1....
系统之间的文件传输优化
weixin_53609708的博客
06-05 104
qq
C# socket TCP 大文件传输同时实现断点续传
08-21
在C#编程语言中，利用Socket API进行TCP通信可以构建高效、稳定的文件传输系统，特别是在处理大文件时，断点续传功能则显得尤为必要。下面，我们将深入探讨如何使用C#的Socket实现TCP大文件传输并支持断点续传。 ...
delphi 多线程断点续传支持超大文件2G以上传输带源码
03-20
断点续传功能则是在文件传输过程中，如果因为网络中断或其他原因导致传输中断，系统能够记录当前的传输进度，下次启动传输时可以从上次中断的地方继续，而不是从头开始。这对于大文件来说尤其重要，因为它节省了大量...
气象网格中大规模文件传输的优化
03-26
研究中使用的GridFTP协议，它支持可靠的大型文件传输，但优化小文件传输需要额外的技术手段。文件压缩技术被引入，作为一种减少传输时间和提高网络带宽利用率的有效手段。压缩技术可以减少数据包的数量，从而减少...
传输优化问题
weixin_42548604的博客
01-15 294
问题描述 1) 最近遇到的问题是在后台传值到前台，我们通常是将所需要的值通过封装成对象，然后通过转成json字符串的形式将字符串传输到前端，但是这个返回的值并不是所有都是我们需要的，造成返回的冗杂、数据量变大，影响响应速度。我们就可以通过下面的形式将值为null的数据从json字符串中去掉，从而减少返回的数据量，加快响应速度。具体如下： 代码展示 import com.fasterxml....
深度解析零拷贝技术优化文件传输性能
weixin_73077810的博客
02-29 1148
本文系统性介绍了零拷贝技术在文件传输中的应用，围绕优化传统文件传输过程中的性能瓶颈展开，并详细介绍了零拷贝技术的定义、优势、优化点和实际应用，对相关技术实现和项目案例进行了深入的探讨，为读者提供了全面的认识和应用指导。
网络传输过程中的优化
efew212efe的博客
06-03 492
如果服务端还是 HTTP 1.1 协议，那么浏览器并发的 HTTP 请求是由数量限制的（比如桌面浏览器并发请求可能是 8 个，手机浏览器是 6 个），如果一下子并发的几十个请求那么会有很多请求会停下来等，等前面的请求好了下一个再进去，这样就延长了整个页面的加载时间。如果服务端已经开启了 http2，那么不存在并发请求的限制。项目中有很多依赖库如 React、lodash ，它们的版本是基本不会发生变化的。将这些不会发生变化的包单独拆出来，加上缓存，那么二次请求时这些不变的包都不会被拉取，这样就可以提升网站整
文件传输优化的几种方法
weixin_45629723的博客
10-18 1038
1 scp远程复制命令 上传 scp [-r] 本机路径 用户@172.25.254.9:要存储的路径 下载 scp [-r] 远程主机用户名@172.25.254.9:路径 本机路径 2 rsync远程同步命令 rsync -rtopgl 远程主机用户名@172.25.254.9：路径 本机路径 ## 下载 rsync -rD /dev/pts root@172.25.254.9:/mnt...
传输优化抽象
热门推荐
Netfilter
07-02 1万+
昨天跟朋友聊起传输优化的抽象(用词不当，但我及其恶心方法论这个说法)，整理一些观点。端到端传输优化的上限取决于能有效利用多少信息，而下限取决于这副牌你想打多烂，注意，你有什么牌并不由你决定，你只能决定怎么打。类比考试，你能确定性地考 100 分，你就能确定性地考 0 分，分数的上限和下限同样由你的能力决定。如果你什么都不会，概率上讲，你只能考 50 分，不多也不少。能力越强，偏离 50 分越多。我们做传输优化，比如 TCP 加速，TCP 拥塞控制，普遍的误区在于，我们总希望通过有限信息获得全部真相，总希望能
C# B/S下 如何优化文件上传速度和实现断点续传问题
最新发布
alisky119的博客
07-06 771
免费提供技术指导，免费提供技术培训，因为我们公司也是软件开发公司，也是专门给政府，企业做项目，每年都会校招一些新员工，或者毕业生，因此开源产品作者必须免费帮助我们培训新员工，也就是学生，把他们教会，后面我们就能够自主维护。主要还是帮助我们公司增强维护能力。C# 大文件上传解决方案(10G以上)，C# 大文件上传解决方案(500M以上)，需要在前端，WEB页面中实现大文件，超大文件的上传和下载功能，前端支持WebForm，vue2，vue3，vue-cli,html5,javascript，
文件上传优化方案
莉兹Liz的博客
10-27 593
文件上传方法 1、form、input 2、formData（推荐） 3、fileReader 文件上传遇到问题 1、大文件时，上传时间久，容易卡顿 2、网络原因导致失败，失败后需要从头开始 解决方案： 1、切片上传 2、断点续传 3、秒传 切片上传： Blob对象的slice方法 chunkSize = 1024*5;（每片大小 文件切片上传完成，文件合并 1、前端发送完切片，发送切片请求，告诉后端可以合并 2、后端读取切片数，自动检测文件是否上传完成（推荐） 3、创建一个和原文件大小相同的文件…… 断点
如何让你的大文件上传变得又稳又快？
github_36774378的博客
11-23 2484
随着网络环境的大幅改善及网络资费的显著降低，人们在网络上的互动不再局限于传统的文本内容，图片、语音、视频等纷纷加入了互动行列。 相较于文本内容而言，多媒体在易用性和情感表达上更有优势，当然相对文本，体积也大了很多。比如一条文本消息只有不到 100 字节，但一条视频消息可能超过 100 MB。这就导致多媒体在网络传输、实时触达等方面相对文本内容会更难一些。 在网站或者程序中，除了用户交流的图片、视频等互动消息，还有其他形式的大文件也越来越多。保证大文件的上传稳定是一个需要长期投入和突破的重点。今天，我们就来看
UDP协议下的高效多文件传输优化策略
通过优化这些机制，作者希望能在保持快速传输的同时，尽可能地弥补UDP协议在可靠性和安全性上的不足，为用户提供一个既快速又可靠的文件传输解决方案。 总结来说，这篇文章深入研究了如何通过结合UDP协议的特点和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值