centos 下载文件很慢_【已解决】Mac中从远程CentOS服务器中加速下载大文件

折腾：

期间，

需要从远程的CentOS服务器中，下载一个1G多的大文件。

之前对于普通小文件，直接用命令行的sz即可下载。

现在对于大文件，需要看看是否有更好的办法。

用sz或sftp？

不过还是先去试试sz速度如何

速度稳定在128KB/s

[root@xxx-01 xxx]# sz glove_6b.7z

rz

Starting zmodem transfer. Press Ctrl+C to cancel.

Transferring glove_6b.7z...

1% 5762 KB 125 KB/sec 02:24:54 ETA 0 Errors

再去找找是否有别的办法

download big file from centos

都是说用curl或wget

且wget支持-c == –continue 去断点恢复继续下载

去试试这个所谓的axel

本地是Mac，去看看能否方便的安装axel

先去把文件移动到nginx的www的目录下面，使得浏览器可以打开：

http:/xxx/glove_6b.7z

结果Safari浏览器下载速度从100多降到80多KB了：

是够慢的。

➜ Downloads brew install axel

==> Downloading https://homebrew.bintray.com/bottles-portable-ruby/portable-ruby-2.3.7.leopard_64.bottle.tar.gz

######################################################################## 100.0%

==> Pouring portable-ruby-2.3.7.leopard_64.bottle.tar.gz

Updating Homebrew...

==> Downloading https://homebrew.bintray.com/bottles/axel-2.15.high_sierra.bottle.tar.gz

######################################################################## 100.0%

==> Pouring axel-2.15.high_sierra.bottle.tar.gz

🍺 /usr/local/Cellar/axel/2.15: 17 files, 149.8KB

先去wget看看速度：

➜ Downloads wget http://xxx/glove_6b.7z

zsh: command not found: wget

➜ Downloads brew install wget

Warning: wget 1.19.4_1 is already installed, it's just not linked

You can use `brew link wget` to link this version.

➜ Downloads brew link wget

Linking /usr/local/Cellar/wget/1.19.4_1... 45 symlinks created

➜ Downloads wget http://xxx/glove_6b.7z

--<2018-08-16 10:02:38-- http://xxx/glove_6b.7z

正在连接 47.96.131.109:80... 已连接。

已发出 HTTP 请求，正在等待回应... 200 OK

长度：1121079991 (1.0G) [application/x-7z-compressed]

正在保存至: “glove_6b.7z”

glove_6b.7z 0%[ ] 919.98K 87.7KB/s 剩余 4h 56m

速度不到100KB/S

试试axel：

Downloads

➜ Downloads axel http://xxx/glove_6b.7z

正在初始化下载：http://xxxx/glove_6b.7z

文件大小：1121079991 字节

正在打开输出文件 glove_6b.7z.0

正在开始下载

[ 0%] .......... .......... .......... .......... .......... [ 87.9KB/s]

[ 0%] .......... .......... .......... .......... .......... [ 90.7KB/s]

[ 0%] .......... .......... .......... .......... .......... [ 100.7KB/s]

[ 0%] .......... .......... .......... .......... .......... [ 110.6KB/s]

...

[ 0%] .......... .......... .......... .......... .......... [ 110.9KB/s]

好像速度也就这样，不过是比80KB要好点

但是无法超过此处阿里云服务器的1Mbps=128KB/s的限制

那只能继续等待了。

如果不是服务器端网速受限制，那么axel应该的确可以加速的感觉。

最后终于下载完了：

连接 2 完成下载

,,,,,,,,,, ,,,,,,,,,, .......... .......... ......

连接 1 完成下载

,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,.... [ 130.5KB/s]

[ 99%] .......... .......... .......... .......... .......... [ 130.5KB/s]

[ 99%] .......... .......... .......... .......... .......

连接 3 完成下载

,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,... [ 130.5KB/s]

[ 99%] .......... .......... .......... .......... .......... [ 130.5KB/s]

[ 99%] ..........

连接 1 完成下载

,,,,,,,,,, .......... .......... .

连接 2 完成下载

,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,......... .......... [ 130.5KB/s]

[ 99%] .......... .......... .......... .......... .......... [ 130.5KB/s]

[100%] ....

连接 0 完成下载

已下载 1.0 吉字节，用时 2 时 19 分 51 秒。(130.47 KB/s)

另外，如果有需要可以去试试：

prozilla

【后记】

折腾

【记录】备份腾讯云香港CVM的crifan.com网站全部文件和数据库

期间，去强制中断下载：[ 6%] .......... .......... .......... .......... .......... [ 108.9KB/s]

[ 6%] .......... .......... ..........^C .....

已下载 740.3 兆字节，用时 1 时 55 分 59 秒。(108.92 KB/s)

然后看到：➜ backups ll -lha

...

-rw-r--r-- 1 crifan staff 8.4G 5 10 20:47 www.crifan.com_allFiles_20190509.7z

-rw-r--r-- 1 crifan staff 74B 5 10 20:47 www.crifan.com_allFiles_20190509.7z.st

里面有.st文件。

然后继续用同样命令去下载：➜ backups axel http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

正在初始化下载：http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

文件大小：11698810070 字节

正在打开输出文件 www.crifan.com_allFiles_20190509.7z

找到状态文件：已下载 776279750 字节，剩余 10922530320 字节。

正在开始下载

,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,..... .......... [ 11.1KB/s]

[ 6%] .......... .......... .......... .......... .......... [ 22.5KB/s]

即，可以断点续传。

后来发现，wget也可以：

先搜索，wget是否支持断点续传

wget mac 断点续传wget -c -t 0 -O new_name.tar.gz http://www.cnscn.org/old_name.tar.gz

-c 断点续传

-t 0 反复尝试的次数，0为不限次数

--passive-ftp 使用pasv即被动模式下载，只有在搭配保全系统而遇到问题时，才要加此参数

--proxy-user=username 设置登陆代理服务器的用户名

--proxy-passwd=123456 设置登陆代理服务器的密码

去下载wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

详细log：➜ use_wget_download wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

--2019-05-16 16:39:11-- http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

正在解析主机 book.crifan.com (book.crifan.com)... 150.109.113.228

正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:80... 已连接。

已发出 HTTP 请求，正在等待回应... 301 Moved Permanently

位置：https://book.crifan.com/www.crifan.com_allFiles_20190509.7z [跟随至新的 URL]

--2019-05-16 16:39:11-- https://book.crifan.com/www.crifan.com_allFiles_20190509.7z

正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。

已发出 HTTP 请求，正在等待回应... 200 OK

长度：11698810070 (11G) [application/x-7z-compressed]

正在保存至: “www.crifan.com_allFiles_20190509.7z”

www.crifan.com_allFiles_20190509.7z 0%[ ] 3.26M 8.66KB/s 剩余 13d 15h

就这么慢慢下载吧。

抽空回家再继续下载。➜ use_wget_download wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

--2019-05-22 22:02:03-- http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

正在解析主机 book.crifan.com (book.crifan.com)... 150.109.113.228

正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:80... 已连接。

已发出 HTTP 请求，正在等待回应... 301 Moved Permanently

位置：https://book.crifan.com/www.crifan.com_allFiles_20190509.7z [跟随至新的 URL]

--2019-05-22 22:02:03-- https://book.crifan.com/www.crifan.com_allFiles_20190509.7z

正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。

已发出 HTTP 请求，正在等待回应... 206 Partial Content

长度：11698810070 (11G)，剩余 3671601452 (3.4G) [application/x-7z-compressed]

正在保存至: “www.crifan.com_allFiles_20190509.7z”

www.crifan.com_allFiles_20190509.7z 69%[+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ] 7.54G 5.20KB/s 用时 13m 34s

2019-05-22 22:15:37 (77.9 KB/s) - 在 8092082863 字节处连接关闭。重试中。

--2019-05-22 22:15:38-- (尝试次数： 2) https://book.crifan.com/www.crifan.com_allFiles_20190509.7z

正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。

已发出 HTTP 请求，正在等待回应... 206 Partial Content

长度：11698810070 (11G)，剩余 3606727207 (3.4G) [application/x-7z-compressed]

正在保存至: “www.crifan.com_allFiles_20190509.7z”

www.crifan.com_allFiles_20190509.7z 100%[+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++===========================>] 10.89G 232KB/s 用时 6h 51m

2019-05-23 05:06:57 (143 KB/s) - 已保存 “www.crifan.com_allFiles_20190509.7z” [11698810070/11698810070])

终于下载完毕了。

【总结】

mac中断点续传：

可以用wget加c参数：wget -c url

如果想要断了重连，且不限次数，可以再加：-t 0wget -t 0 -c url

比如：wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

即可。