有些时候在备份或者同步有很多文件的大目录时(比如几个GB或者几十个GB的数据库目录、log目录),直接scp的话花费的时间较长,虽然可以采用先压缩再传输再解压的方法,传输的数据量确实减少了,但压缩和解压也会耗费很多的时间,总体效果也不令人满意,昨天晚上突发奇想,由于之前做过流媒体视频点播的项目的经验,如果能像看高清视频一样只需要下载完视频文件的metadata头就可以实现边下载边播放,即渐进式下载(http://baike.baidu.com/link?url=fTWQYBTqQr1BisysCAkoqIytbwotfBYvFEMxEAlspRbNmE6b5lwVLNzA-qgw6yGlFgBepYBzqvUEb2tqQaehBK) ,那就完美了,今天在网上一搜linux还真行,兴奋之余做一下对比测试:
先上结论:
(1)总体来说,对于文本文件,压缩要比不压缩传输效率更高些,但效果不明显(因为瓶颈不在网络传输这块,而在于压缩,参见下文测试1与2,3与4的对比);
(2)采用边打包边压缩边传输边解压的流式传输方式的话,传输效率能比直接scp/rsync的方式提高35%;
(3)具体到流式传输的ssh和nc的方式上,因为nc不需要用户验证、不需要加密传输的数据,效率稍微高一点,对比效果不明显(因为瓶颈不在网络传输这块,而在于压缩);
(4)在实际使用中更倾向于采用ssh的方式,因为:可以采用push或者pull的方式,且一条命令搞定,同一个源可以有多个并发,而nc需要先在接受端监听端口,然后在发送端开始传输,需要分别执行2条命令。担心:如果在传输的同时有第三者同时向接收端的监听端口发送数据,容易造成数据的不完整性,但实际测试发现nc的接受端只能和一个发送端建立连接进行数据传输,如果正在传输数据,那么第三者发往改监听端口的数据将不会传输,只有新监听端口或者等传输完成后,再重新启用改端口进行传输,总之还是倾向于与ssh的方式。