linux长传大文件,linux大文件传输

Mysql复制，初始化服务器，备份/还原等大文件复制是很常见的任务，他们完成的实际任务可以概括为：

1，(可选)压缩文件

2，发送文件

3，解压文件

4，验证文件一致性

下面介绍几种方法：

1，最简单的：

先进行压缩，再用scp发送到服务器

gzip -c /folder/bigfiles/ > bigfiles.gz

scp bigfiles.gz root@test.host:/folder/bigfiles/

然后在服务器的解压：

gunzip /folder/bigfiles/bigfiles.gz

这种方法效率不高，因为涉及到压缩，复制，解压缩等串行化操作，写磁盘速度比较慢...

2，一步到位的方法，

gzip -c /folder/bigfiles | ssh root@test.host "gunzip -c - > /folder/bigfiles"

上面这些方法都会进行压缩和安全性认证，耗时还是比较大的；下面使用nc来进行传输；

3，nc的使用：

在服务器端执行： nc  -l -p 12345 | gunzip -c - > /folder/bigfiles

在客户端执行：    gzip -c - /folder/bigfiles | nc -q server.host 123456

Linux大文件传输(转)

我们经常需要在机器之间传输文件.比如备份,复制数据等等.这个是很常见,也是很简单的.用scp或者rsync就能很好的完成任务.但是如果文件很大,需要占用一些传输时间的时候,怎样又快又好地完成任务就很重 ...

WCF大文件传输服务

由于项目需要,自己写一个基于WCF的大文件传输服务雏形.觉得有一定的参考价值,因此放在网上分享. 目前版本为v1.1特点如下: 1.文件传输端口为18650 2.上传和下载文件 3.支持获取文件传输状 ...

转：wcf大文件传输解决之道(2)

此篇文章主要是基于http协议应用于大文件传输中的应用,现在我们先解析下wcf中编码器的定义,编码器实现了类的编码,并负责将Message内存中消息转变为网络发送的字节流或者字节缓冲区(对于发送方而言 ...

转：wcf大文件传输解决之道(1)

首先声明,文章思路源于MSDN中徐长龙老师的课程整理,加上自己的一些心得体会,先总结如下: 在应对与大文件传输的情况下,因为wcf默认采用的是缓存加载对象,也就是说将文件包一次性接受至缓存中,然后生成 ...

Linux大文件分割splite

/********************************************************************** * Linux大文件分割splite * 说明: * 编 ...

WCF大文件传输【转】

http://www.cnblogs.com/happygx/archive/2013/10/29/3393973.html WCF大文件传输 WCF传输文件的时候可以设置每次文件的传输大小,如果是小 ...

利用Socket进行大文件传输

分类: WINDOWS 最近接触到利用socket进行大文件传输的技术,有些心得,与大家分享.首先看看这个过程是怎么进行的(如下图):      所以,我们需要三个socket在窗体加载的时候初始化: ...

AetherUpload大文件传输

AetherUpload-Laravel是laravel框架下的一个大文件传输组件 github:https://github.com/peinhu/AetherUpload-Laravel 文件传输 ...

Linux命令-文件传输

Linux命令-文件传输 Linux lprm命令 Linux lprm命令用于将一个工作由打印机贮列中移除 尚未完成的打印机工作会被放在打印机贮列之中,这个命令可用来将常未送到打印机的工作取消.由于 ...

随机推荐

css2----兼容----ie67的3像素bug

发生条件:当浮动元素和非浮动元素相邻 时候,ie67下,两个元素就会多出3像素的间隔,其实是浮动元素产生的margin值 解决办法:1:让没有浮动的元素也浮动: 2:让浮动元素产生margin-*:- ...

JVM 垃圾回收算法

在说垃圾回收算法之前,先谈谈JVM怎样确定哪些对象是“垃圾”. 1.引用计数器算法: 引用计数器算法是给每个对象设置一个计数器,当有地方引用这个对象的时候,计数器+1,当引用失效的时候,计数器-1,当 ...

JAVA的序列化与反序列化

一.为什么要进行序列化 再介绍之前,我们有必要先了解下对象的生命周期,我们知道Java对象的生命周期,也即Java中的远程方法调用RMI也会被用到,在网络中要传输对象的话,则必须要对对象进行序列化,关 ...

IPAddress

Console.WriteLine("BitConverter.IsLittleEndian = {0}", BitConverter.IsLittleEndian); Conso ...

关于a标签下的img元素在IE7下不能点击的问题

转载自http://segmentfault.com/q/1010000000712673

css background之设置图片为背景技巧

css background之设置图片为背景技巧-css 背景 Background是什么意思,翻译过来有背景意思.同样在css里面作为css属性一成员同样是有背景意思,并且是设置背景图片.背景颜色. ...

支持flash in Chrome 2017

在设置页面: chrome://settings/content 修改Flash插件的使用方式为:Allow sites to run Flash 来源: https://helpx.adobe.co ...

20145203盖泽双《网络对抗技术》实践五：MSF基础应用

20145203盖泽双实践五:MSF基础应用 1.实践目标 掌握metasploit的基本应用方式,掌握常用的三种攻击方式的思路.下面是我自己做的时候用的四个套路. (1) ...

Socket阻塞模式和非阻塞模式的区别

简单点说: 阻塞就是干不完不准回来,    非组赛就是你先干,我现看看有其他事没有,完了告诉我一声 我们拿最常用的send和recv两个函数来说吧... 比如你调用send函数发送一定的Byte,在系 ...

[django]python异步神器-celery

python异步神器celery https://segmentfault.com/a/1190000007780963