看完本文后,相信你可以把wget玩出新花样 😉
wget详解:获得几乎你想要的一切
原理
在linux或者python中,我们经常会写
wget https://.....
或者
# 导入wget,如果没有使用pip安装: pip install wget
import wget
# 网络地址
DATA_URL = 'https://......'
# 下载后的文件名称,默认是原名
out_fname = 'f:/'
wget.download(DATA_URL, out=out_fname)
很快就可以获得链接里的内容,下载的原理是递归下载:
跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候,wget
遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。
而且,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。
笔者就经常挂个wget去喝水,因为他稳定到几乎你不需要任何操作,不过详细了解wget之后,发现它能做的事情太多了。特此整理。
常见错误与指令
文件名错误
应该是wget使用者最常遇到的错误了吧:
使用wget时,有时候我们会遇到下载文件名不对,需要手工修改,原理:
wget默认会以最后一个符合”/”的后面的字符来命名,对于动态链接的下载通常文件名会不正确。
下面的例子会下载一个文件并以名称download.php?id=1080保存
wget http://www.centos.bz/download?id=1
即使下载的文件是zip格式,它仍然以download.php?id=1080命名。
为了解决这个问题,我们可以使用参数-O来指定一个文件名:
wget -O wordpress.zip http://www.centos.bz/download.php?
占用带宽过大
当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。
使用limit-rate来限速:
wget –limit-rate=300k http://...
一键批量下载
使用wget -i下载多个文件
首先,保存一份下载链接文件
如:filelist.txt里有
url1
url2
url3
url4
接着使用这个文件和参数-i下载
wget -i filelist.txt
Dropbox和Google Drive
Dropbox
在笔者做深度学习相关的项目时,很多公开数据集都位于dropbox和google drive上,下载到linux本地确实要花一点心思,特此记录在这里:
参考:https://superuser.com/questions/470664/how-to-download-dropbox-files-using-wget-command
如果只用
wget https://www.dropbox.com/s/mx9eqve5l2ipgyk/test.txt
会发现下载不到test.txt。这里只需要把url后面加上?dl=1
```bash
https://www.dropbox.com/s/mx9eqve5l2ipgyk/test.txt?dl=1
当然,看了上文之后你会知道这样下载是命名错误的
wget -O /root/Desktop/test.txt "https://www.dropbox.com/s/mx9eqve5l2ipgyk/test.txt?dl=1
注意:这个修改对几乎任何Dropbox文件都有效,有时候你要做的是把末尾的?id=0变成?id=1
如笔者昨天遇到的例子:
wget文件夹的url是无效的
点击文件,获得带?dl=0具体的下载链接
将这个网站的?dl=0改为?dl=1即可实现wget
Google Drive
先去google 文件夹的UUID
https://drive.google.com/drive/folders/<folder UUID>
然后前往
https://googledrive.com/host/<folder UUID>
这会把你重定向到下载页,在这里你就可以找到直接下载的连接.
大型文件
大型文件目前没有好的wget解决方法(如果你遇到“无法检测病毒等等”)
目前解决的方法是:存储来自第一个请求的cookie,找到“仍然下载”按钮所指向的链接,然后使用此链接下载文件,但要重复使用从第一个请求中获得的cookie:
curl -c /tmp/cookies "https://drive.google.com/uc?export=download&id=DOCUMENT_ID" > /tmp/intermezzo.html
curl -L -b /tmp/cookies "https://drive.google.com$(cat /tmp/intermezzo.html | grep -Po 'uc-download-link" [^>]* href="\K[^"]*' | sed 's/\&/\&/g')" > FINAL_DOWNLOADED_FILENAME
这里推荐一个很好的下载工具:
https://github.com/google/skicka
全命令附表
启动参数:
-V, –version 显示wget的版本后退出
-h, –help 打印语法帮助
-b, –background 启动后转入后台执行
-e, –execute=COMMAND 执行`.wgetrc’格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc
记录和输入文件参数:
-o, –output-file=FILE 把记录写到FILE文件中
-a, –append-output=FILE 把记录追加到FILE文件中
-d, –debug 打印调试输出
-q, –quiet 安静模式(没有输出)
-v, –verbose 冗长模式(这是缺省设置)
-nv, –non-verbose 关掉冗长模式,但不是安静模式
-i, –input-file=FILE 下载在FILE文件中出现的URLs
-F, –force-html 把输入文件当作HTML格式文件对待
-B, –base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀
–sslcertfile=FILE 可选客户端证书
–sslcertkey=KEYFILE 可选客户端证书的KEYFILE
–egd-file=FILE 指定EGD socket的文件名
下载参数:
–bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)
-t, –tries=NUMBER 设定最大尝试链接次数(0 表示无限制).
-O –output-document=FILE 把文档写到FILE文件中
-nc, –no-clobber 不要覆盖存在的文件或使用.#前缀
-c, –continue 接着下载没下载完的文件
–progress=TYPE 设定进程条标记
-N, –timestamping 不要重新下载文件除非比本地文件新
-S, –server-response 打印服务器的回应
–spider 不下载任何东西
-T, –timeout=SECONDS 设定响应超时的秒数
-w, –wait=SECONDS 两次尝试之间间隔SECONDS秒
–waitretry=SECONDS 在重新链接之间等待1…SECONDS秒
–random-wait 在下载之间等待0…2*WAIT秒
-Y, –proxy=on/off 打开或关闭代理
-Q, –quota=NUMBER 设置下载的容量限制
–limit-rate=RATE 限定下载输率
目录参数:
-nd –no-directories 不创建目录
-x, –force-directories 强制创建目录
-nH, –no-host-directories 不创建主机目录
-P, –directory-prefix=PREFIX 将文件保存到目录 PREFIX/…
–cut-dirs=NUMBER 忽略 NUMBER层远程目录
HTTP 选项参数:
–http-user=USER 设定HTTP用户名为 USER.
–http-passwd=PASS 设定http密码为 PASS
-C, –cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许)
-E, –html-extension 将所有text/html文档以.html扩展名保存
–ignore-length 忽略 `Content-Length’头域
–header=STRING 在headers中插入字符串 STRING
–proxy-user=USER 设定代理的用户名为 USER
–proxy-passwd=PASS 设定代理的密码为 PASS
–referer=URL 在HTTP请求中包含 `Referer: URL’头
-s, –save-headers 保存HTTP头到文件
-U, –user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION
–no-http-keep-alive 关闭 HTTP活动链接 (永远链接)
–cookies=off 不使用 cookies
–load-cookies=FILE 在开始会话前从文件 FILE中加载cookie
–save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中