linux杂谈之wget命令

把握要点：'常见命令'和'应用场景'

场景1：限速下载

(1) 当你'执行wget的时候',它默认会'占用全部可能的宽带下载',但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了

用法 

# 使用--limit -rate限速下载，限制速度为300K 

wget --limit-rate=300k url资源

# 注意限制的是'本地消耗的带宽'

# 上下行带宽了解一下

场景2：断点续传

使用'wget -c重新启动下载中断的文件',对于我们'下载大文件时'突然由于'网络等原因中断'非常有帮助('尤其是网速特别低引起的终端'),我们可以继续接着下载而'不是重新下载一个文件'

-c,  '--continue'                resume getting a partially-downloaded file.

用法 

wget -c url资源

场景3：后台下载

-b：'后台下载',默认下载到'当前目录',产生一个'wget-log'的文件

-b,  '--background'        go to background after startup.

特点：用此选项下载时'只会初始化下载'而'不会显示相关信息'

# 查看下载进度

tail -f wget-log

用法

wget -b http://www.linuxde.net/testfile.zip

场景4：重命名

-O,  '--output-document=FILE'    write documents to FILE.

功能：'下载并以不同的文件名保存'

wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080

wget默认会'以最后一个符合/的后面的字符来命令',对于动态链接的下载通常文件名会不正确

"错误"：下面的例子会下载一个文件并以名称'download.aspx?id=1080'保存

"正确"：为了解决这个问题，我们可以使用'参数-O'来指定一个文件名

wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080

场景5：下载到指定目录

-P(大写),  '--directory-prefix=PREFIX'  save files to PREFIX/...

'wget -P 指定目录 下载地址'

wget -P /etc/software  http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz

场景6：伪装代理名称下载

有些'网站'能通过根据'判断代理名称不是浏览器'而拒绝你的下载请求,不过你可以通过'--user-agent参数伪装'

wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.linuxde.net/testfile.zip

#备注:nginx里面有个agent可以进行相应浏览器的阻拦

场景7：增加重试次数

如果'网络有问题'或'下载一个大文件'也有可能失败,wget'默认重试20次'连接下载文件,如果需要,你可以'使用--tries增加'重试次数或者自定义次数

wget --tries=40 url

场景8：下载多个文件

-i,  '--input-file=FILE'     download URLs found in local or external FILE.

wget -i filelist.txt

# 说明-->要下载的资源每行一个,保存成下载链接文件

场景9：把下载信息存入日志文件

'不希望'下载信息'直接显示在终端',而是希望在一个'日志文件',便于'后续查看'

wget -o download.log url

# 重定向> 一样的效果吗?

场景10：FTP下载

# ftp虚拟用户或者系统用户下载-->注意这个url是ftp开头的

wget --ftp-user=USERNAME --ftp-password=PASSWORD url

匿名下载

wget ftp-url

场景11：模拟下载打印服务器响应

wget -S  www.baidu.com     # 打印服务器响应

备注：这个对分析'HTTP报文'很有好处

场景12：镜像网站

wget --mirror -p --convert-links -P ./local url

--miror开户镜像下载。
-p  '下载所有为了html页面显示正常的文件'
--convert-links下载后,'转换成本地的链接'
-P ./local保存所有文件和目录到本地指定目录

nginx防止扒站

防止利用Wget等方式进行扒站

场景13：检查网站是否存活

-spider: '模拟下载',不会下载,只是会'检查是否网站是否好着'
--spider                  'don't download anything'
wget --spider  www.baidu.com    #不下载任何文件

场景14：安静模式

-q,  --quiet               '安静模式(无信息输出)'

wget -q url 

适合通'命令回传码'来判定

补充：wget的配置文件

备注：也可以设置'ftp_proxy'代理

参考相关链接

各参数的含义

使用案例