命令行的“迅雷”,提升百倍以上下载速率

现在从国外一些服务器下载数据实在是太慢了,虽然可是使用 aspera 等工具下载 ncbi 的数据,但是并不是所有站点都支持 aspera。无奈只能使用 curl 或者 wget 下载。尽管我使用的是 100M 的企业网,有些数据还是慢。这时候就可以使用 axel 工具了。axel 是 Linux 下一个高速下载工具。支持多来源、多线程、断点续传。也就是可以从多个地址或者从一个地址的多个连接来下载同一个文件,类似迅雷,总之就是下载速度比 wget 快,而且快很多。

软件安装

由于我使用 CentOS 系统,可以使用 yum 命令直接安装,ubuntu 使用 apt 工具应该类似。

yum install -y axel

软件使用

软件的使用非常用以,和 wget 类似,后面直接接下载文件路径即可。这里面有两个选项参数比较重要,第一个最重要的就是 --num-connections,-n,指定最大连接来源的数目,这也是我们使用 axel 的目的吗,连接数越多,下载速度越快,理论上来说,应该是原来的 1/n,另外一个是 -q,不弹出屏幕输出信息。

# 软件选项参数:
--max-speed=x  -s x    最高速度 x
--num-connections=x  -n x    连接数 x
--output=f   -o f    下载为本地文件 f
--search[=x]   -S [x]  搜索镜像
--header=x   -H x    添加头文件字符串 x(指定 HTTP header)
--user-agent=x   -U x    设置用户代理(指定 HTTP user agent)
--no-proxy   -N      不使用代理服务器
--quiet   -q      静默模式
--verbose  -v      更多状态信息
--alternate   -a      Alternate progress indicator
--help  -h      帮助
--version  -V      版本信息

举个例子

我们来做个测试,从 ncbi 下载 swissprot 数据库 ,这文件大概 140 多 M。

ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz

首先使用 wget 进行下载,网速大概在 20Kb/s。

wget ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz


b7b49cca-e049-47af-9e6b-dfd81e401fc5.png

然后我们使用 axel 进行下载,-n 设置为 50,平均下载数据在 3M/s,提升还是非常明显的,尤其是一些比较难下载的资源。

axel -n 50 ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz


bf30f8ba-ae7b-4722-afda-5bcd98bb7cd7.png



——The  End——

edc7a52c-9592-42c6-b899-151dcd5c9de9.gif


本文分享自微信公众号 - 生信科技爱好者(bioitee)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值