【Linux入门系列】wget 使用探索

Linux 同时被 2 个专栏收录
5 篇文章 0 订阅
1 篇文章 0 订阅

文章来自LearnShare,转载请注明。


概述


Wget 是Linux下的命令行工具,用来下载文件或镜像网站,支持HTTP/HTTPS/FTP协议。大部分Linux发行版中均包含Wget工具。Wget也有Windows上的移植版(轻功走起,或直接下载)。

(本文的试验环境:LinuxMint 14 中文版,GNU Wget 1.13.4 中文版)


Wget的参数格式


Wget的参数格式为:

wget [选项]... [URL]...

Wget的参数手册


打开终端,输入:

wget -h
可查看Wget的使用帮助(为方便使用英文版的同学,提供如下):

GNU Wget 1.13.4,非交互式的网络文件下载工具。
用法: wget [选项]... [URL]...

长选项所必须的参数在使用短选项时也是必须的。

启动:
  -V,  --version           显示 Wget 的版本信息并退出。
  -h,  --help              打印此帮助。
  -b,  --background        启动后转入后台。
  -e,  --execute=COMMAND   运行一个“.wgetrc”风格的命令。

日志和输入文件:
  -o,  --output-file=FILE    将日志信息写入 FILE。
  -a,  --append-output=FILE  将信息添加至 FILE。
  -d,  --debug               打印大量调试信息。
  -q,  --quiet               安静模式 (无信息输出)。
  -v,  --verbose             详尽的输出 (此为默认值)。
  -nv, --no-verbose          关闭详尽输出,但不进入安静模式。
  -i,  --input-file=FILE     下载本地或外部 FILE 中的 URLs。
  -F,  --force-html          把输入文件当成 HTML 文件。
  -B,  --base=URL            解析与 URL 相关的
                             HTML 输入文件 (由 -i -F 选项指定)。
       --config=FILE         Specify config file to use.

下载:
  -t,  --tries=NUMBER            设置重试次数为 NUMBER (0 代表无限制)。
       --retry-connrefused       即使拒绝连接也是重试。
  -O,  --output-document=FILE    将文档写入 FILE。
  -nc, --no-clobber              skip downloads that would download to
                                 existing files (overwriting them).
  -c,  --continue                断点续传下载文件。
       --progress=TYPE           选择进度条类型。
  -N,  --timestamping            只获取比本地文件新的文件。
  --no-use-server-timestamps     不用服务器上的时间戳来设置本地文件。
  -S,  --server-response         打印服务器响应。
       --spider                  不下载任何文件。
  -T,  --timeout=SECONDS         将所有超时设为 SECONDS 秒。
       --dns-timeout=SECS        设置 DNS 查寻超时为 SECS 秒。
       --connect-timeout=SECS    设置连接超时为 SECS 秒。
       --read-timeout=SECS       设置读取超时为 SECS 秒。
  -w,  --wait=SECONDS            等待间隔为 SECONDS 秒。
       --waitretry=SECONDS       在获取文件的重试期间等待 1..SECONDS 秒。
       --random-wait             获取多个文件时,每次随机等待间隔
                                 0.5*WAIT...1.5*WAIT 秒。
       --no-proxy                禁止使用代理。
  -Q,  --quota=NUMBER            设置获取配额为 NUMBER 字节。
       --bind-address=ADDRESS    绑定至本地主机上的 ADDRESS (主机名或是 IP)。
       --limit-rate=RATE         限制下载速率为 RATE。
       --no-dns-cache            关闭 DNS 查寻缓存。
       --restrict-file-names=OS  限定文件名中的字符为 OS 允许的字符。
       --ignore-case             匹配文件/目录时忽略大小写。
  -4,  --inet4-only              仅连接至 IPv4 地址。
  -6,  --inet6-only              仅连接至 IPv6 地址。
       --prefer-family=FAMILY    首先连接至指定协议的地址
                                 FAMILY 为 IPv6,IPv4 或是 none。
       --user=USER               将 ftp 和 http 的用户名均设置为 USER。
       --password=PASS           将 ftp 和 http 的密码均设置为 PASS。
       --ask-password            提示输入密码。
       --no-iri                  关闭 IRI 支持。
       --local-encoding=ENC      IRI (国际化资源标识符) 使用 ENC 作为本地编码。
       --remote-encoding=ENC     使用 ENC 作为默认远程编码。
       --unlink                  remove file before clobber.

目录:
  -nd, --no-directories           不创建目录。
  -x,  --force-directories        强制创建目录。
  -nH, --no-host-directories      不要创建主目录。
       --protocol-directories     在目录中使用协议名称。
  -P,  --directory-prefix=PREFIX  以 PREFIX/... 保存文件
       --cut-dirs=NUMBER          忽略远程目录中 NUMBER 个目录层。

HTTP 选项:
       --http-user=USER        设置 http 用户名为 USER。
       --http-password=PASS    设置 http 密码为 PASS。
       --no-cache              不在服务器上缓存数据。
       --default-page=NAME     改变默认页
                               (默认页通常是“index.html”)。
  -E,  --adjust-extension      以合适的扩展名保存 HTML/CSS 文档。
       --ignore-length         忽略头部的‘Content-Length’区域。
       --header=STRING         在头部插入 STRING。
       --max-redirect          每页所允许的最大重定向。
       --proxy-user=USER       使用 USER 作为代理用户名。
       --proxy-password=PASS   使用 PASS 作为代理密码。
       --referer=URL           在 HTTP 请求头包含‘Referer: URL’。
       --save-headers          将 HTTP 头保存至文件。
  -U,  --user-agent=AGENT      标识为 AGENT 而不是 Wget/VERSION。
       --no-http-keep-alive    禁用 HTTP keep-alive (永久连接)。
       --no-cookies            不使用 cookies。
       --load-cookies=FILE     会话开始前从 FILE 中载入 cookies。
       --save-cookies=FILE     会话结束后保存 cookies 至 FILE。
       --keep-session-cookies  载入并保存会话 (非永久) cookies。
       --post-data=STRING      使用 POST 方式;把 STRING 作为数据发送。
       --post-file=FILE        使用 POST 方式;发送 FILE 内容。
       --content-disposition   当选中本地文件名时
                               允许 Content-Disposition 头部 (尚在实验)。
       --auth-no-challenge     发送不含服务器询问的首次等待
                               的基本 HTTP 验证信息。

HTTPS (SSL/TLS) 选项:
       --secure-protocol=PR     选择安全协议,可以是 auto、SSLv2、
                                SSLv3 或是 TLSv1 中的一个。
       --no-check-certificate   不要验证服务器的证书。
       --certificate=FILE       客户端证书文件。
       --certificate-type=TYPE  客户端证书类型,PEM 或 DER。
       --private-key=FILE       私钥文件。
       --private-key-type=TYPE  私钥文件类型,PEM 或 DER。
       --ca-certificate=FILE    带有一组 CA 认证的文件。
       --ca-directory=DIR       保存 CA 认证的哈希列表的目录。
       --random-file=FILE       带有生成 SSL PRNG 的随机数据的文件。
       --egd-file=FILE          用于命名带有随机数据的 EGD 套接字的文件。

FTP 选项:
       --ftp-user=USER         设置 ftp 用户名为 USER。
       --ftp-password=PASS     设置 ftp 密码为 PASS。
       --no-remove-listing     不要删除‘.listing’文件。
       --no-glob               不在 FTP 文件名中使用通配符展开。
       --no-passive-ftp        禁用“passive”传输模式。
       --retr-symlinks         递归目录时,获取链接的文件 (而非目录)。

递归下载:
  -r,  --recursive          指定递归下载。
  -l,  --level=NUMBER       最大递归深度 (inf 或 0 代表无限制,即全部下载)。
       --delete-after       下载完成后删除本地文件。
  -k,  --convert-links      让下载得到的 HTML 或 CSS 中的链接指向本地文件。
  -K,  --backup-converted   在转换文件 X 前先将它备份为 X.orig。
  -m,  --mirror             -N -r -l inf --no-remove-listing 的缩写形式。
  -p,  --page-requisites    下载所有用于显示 HTML 页面的图片之类的元素。
       --strict-comments    用严格方式 (SGML) 处理 HTML 注释。

递归接受/拒绝:
  -A,  --accept=LIST               逗号分隔的可接受的扩展名列表。
  -R,  --reject=LIST               逗号分隔的要拒绝的扩展名列表。
  -D,  --domains=LIST              逗号分隔的可接受的域列表。
       --exclude-domains=LIST      逗号分隔的要拒绝的域列表。
       --follow-ftp                跟踪 HTML 文档中的 FTP 链接。
       --follow-tags=LIST          逗号分隔的跟踪的 HTML 标识列表。
       --ignore-tags=LIST          逗号分隔的忽略的 HTML 标识列表。
  -H,  --span-hosts                递归时转向外部主机。
  -L,  --relative                  只跟踪有关系的链接。
  -I,  --include-directories=LIST  允许目录的列表。
  --trust-server-names             use the name specified by the redirection
                                   url last component.
  -X,  --exclude-directories=LIST  排除目录的列表。
  -np, --no-parent                 不追溯至父目录。

请将错误报告或建议寄给 <bug-wget@gnu.org>。


建立实验环境


继续执行命令,建立 下载/temp 作为实验的临时目录:

cd 下载
mkdir temp
cd temp
实验用的文件来自我 11 年编写的 HTML/CSS教程(课件)。


单文件下载

下载单个文件

首先,来下载单个HTML文件:

wget http://learnshare.duapp.com/web/pages/css/2.3-1.html
文件 2.3-1.html 就被下载到 temp/目录里了。

这是Wget最简单的用法,仅提供文件URL,不使用任何附加参数。主要用来下载单个文件。

清空 temp/ 目录。


将日志输出到文件

执行上面的命令时,Wget将输出若干行[日志](记录)信息。如果下载的文件较多,输出的日志信息也会很多,不方便浏览,我们可以将日志信息输出到指定的文件中:

wget http://learnshare.duapp.com/web/pages/css/2.3-1.html -o log.txt
日志信息将全部输出到 log.txt 文件中。

清空 temp/ 目录。


隐藏日志输出(安静模式)

如果不想看到任何日志信息,可以启用安静模式:

wget -q http://learnshare.duapp.com/web/pages/css/2.3-1.html

将不会看到任何日志信息输出到屏幕中。

清空 temp/ 目录。


指定下载文件的文件名

下载文件时,我们会需要将文件重命名:

wget http://learnshare.duapp.com/web/pages/css/2.3-1.html -O load.html
文件将被保存为 load.html 。

清空 temp/ 目录。


后台运行

下载大文件或多个文件时,可以让Wget运行在后台:

wget -b http://ftp.gnu.org/gnu/gettext/gettext-0.18.2.tar.gz
Wget将继续在后台下载文件(pid为4183,你的可能不同),并将日志输出到 wget-log 文件中。


续传未完成的下载

大文件下载经常会因为网络问题而失败,不过Wget支持断点续传,可以继续下载:

(此处直接结束后台进程,来人工制造下载失败)

kill 4183
进程结束后,文件下载中止,我们再次开启Wget来续传文件:

wget -c http://ftp.gnu.org/gnu/gettext/gettext-0.18.2.tar.gz
由于速度较慢,我们不再等待完成,Ctrl+z 结束进程。

清空 temp/ 目录。


导入URL列表进行下载

当我们需要下载多个文件时,批量下载就变得尤为重要。Wget可以下载本地或外部的文件中所有的URL,一种可用的列表格式是每个URL独占一行。

我们来下载下面一个列表文件 filelist.txt :

http://learnshare.duapp.com/web/pages/css/2.3-1.html
http://learnshare.duapp.com/web/pages/css/2.3-2.html
http://learnshare.duapp.com/web/pages/css/2.3-3.html
http://learnshare.duapp.com/web/pages/css/2.3-4.html
执行命令:

wget -i filelist.txt
四个文件将被保存到 temp/ 目录中。

清空 temp/ 目录。


网页单页面下载


使用HTML文件作为文件列表

有时候,我们需要保存单个网页及其关联地CSS和图片等文件,可以将HTML文件作为输入文件:

wget -i http://learnshare.duapp.com/web/pages/css/2.3-1.html -F
文件 2.3-1.html 和 2.3-1.css 将被保存到 temp/ 目录中。

清空 temp/ 目录。


建立镜像目录

上一步虽然能够下载与HTML文件相关联的文件,但本地的存储目录与服务器上的不同,会影响我们离线浏览,所以我们来指定创建与服务器相同地镜像目录:

wget -i http://learnshare.duapp.com/web/pages/css/2.3-1.html -F -x

Wget在 temp/ 目录中建立了 learnshare.duapp.com/web/pages/css 目录,并按照服务器上的目录保存在本地。

清空 temp/ 目录。

与上面的命令等价的另一个命令:

wget http://learnshare.duapp.com/web/pages/css/2.3-1.html --page-requisites

清空 temp/ 目录。

我们下载的 2.3-1.html 文件,只有一个关联的CSS文件,但如果下载的关联文件较多时,比如 baidu.com 的首页,会是下面的样子:

wget -i http://www.baidu.com/ -F -x
这个操作将会下载到与 baidu.com/index.html 相关联的所有文件,包括其他的HTML,在 temp/ 目录生成了20个文件夹,这不是我们想要的。

清空 temp/ 目录。


忽略个别HTML tags

如果不想下载到某些关联文件,我们可以通过参数控制下载的文件格式:

wget -i http://www.baidu.com/ -F -x --ignore-tags=a
其中的 --ignore-tags= 后面可以写一个或多个禁止跟踪的 HTML tags(使用“,”分隔多个值),来屏蔽相关的超链接。

该操作会在 temp/ 目录生成两个文件夹,一个存放了 index.html ,另一个存放了相关的JS和图片。(前面的等价命令并不适用该页面,可能是因为 robots.txt ?)

我们可以在断开网络后,在浏览器中打开下载的百度首页,查看离线的效果如何。结果是,虽然我们下载了所有的相关文件,但页面的图片和样式均不正常,这是因为 index.html 中的URL未和本地的文件关联。

清空 temp/ 目录,并连接到网络。


关联本地文件(URL转换)

如何解决这个问题,手动修改吗?NO!Wget给我们提供了URL转换功能:

wget -i http://www.baidu.com/ -F -x --ignore-tags=a -k
-k 选项将指示Wget转换 index.html 中的URL指向本地文件(已设置忽略 a 标签),可以再次断开网络测试离线效果(非常完美)。

清空 temp/ 目录。


网站下载和网站目录下载


前面探索了使用Wget下载单文件和单页面地用法,后面再来探索一下我个人比较期待的网站离线功能(多页面下载).


下载网站目录(递归下载)

下面来下载我的HTML/CSS教程全部文件,也就是 learnshare.duapp.com/web/ 目录:

wget -r http://learnshare.duapp.com/web/
该命令会按照网站原目录格式保存URL指定页面的所有相关文件,也就是递归下载。

了解Web结构的同学会知道,网站就是许多个相互连接的页面和文件构成的。(猜测)Wget会根据URL参数搜索指定的文件内容,下载与其关联的文件,并继续搜索这些文件,下载与其相关的其他文件,直到所有关联的文件都被下载到本地。

听起来是很不错的,一个命令就可以下载整个网站。不过这种想法是错误的。

清空 temp/ 目录。

为了演示这个想法错在那里,我们来下载Wget分页版的帮助文档

wget -r http://www.gnu.org/software/wget/manual/html_node/index.html
我们仅仅是想下载 .../wget/manual/html_note/ 目录下的所有页面及相关文件,但是Wget几乎要将 www.gnu.org/ 下的所有也面都下载到本地了,所以我们用 Ctrl+z 中止下载。

清空 temp/ 目录。


禁止跟踪父目录

我们的实际需求是仅限于 manual/html_node/ 目录下的 *.html 文件,而且它们是纯HTML文档,没有关联的CSS、JS或图片,执行以下命令:

wget -r http://www.gnu.org/software/wget/manual/html_node/index.html -np
参数 -np 指定了Wget不跟踪至父目录中的页面。

清空 temp/ 目录。

我们再来实验另一个网站的下载效果:

wget -r http://api.jquery.com/category/version/1.9/ -np
该命令将下载 .../version/1.9/ 目录下的所有页面,但是因为设置了不跟踪父目录(-np),所以没有下载关联的CSS、JS和图片。

清空 temp/ 目录。


确保页面的完整性

我们还有一个 -p 参数来修正这个问题:

wget -r http://api.jquery.com/category/version/1.9/ -np -p
这样, .../version/1.9/ 目录中的两个页面及其关联的文件都被下载下来了。

清空 temp/ 目录。

当然,我们还可以使用 -k 参数,使文件中的URL指向本地文件,来保证其离线浏览的完整性:

wget -r http://api.jquery.com/category/version/1.9/ -np -p -k
文件下载完毕后,我们打开 .../1.9/index.html 查看一下。出现了两个问题:

1.base.css无法关联到:因为文件名为 base.css?v=1 ,导致浏览器将 ? 后的参数通过GET方式发送出去了……可以手动修改文件名,并修改 index.html 中的URL。(出现这个问题,应该归结于Wget的非文件URL转换存在缺陷);

2.页面中部分图标无法显示,部分文字字体与原网页不同:这个问题是由于页面使用的自定义字体未下载到本地,可以手动下载(Wget可能还不能分析并下载CSS中定义的 @font-face 文件)。

【补充:字体文件已经下载到本地,仅仅是文件关联问题】

解决完这两个问题后,这个页面就非常完美了。

【补充:

        这两个问题同样可以使用下边介绍的 --adjust-extension 参数解决。该参数至少有三个功能:

        1.使用正确的扩展名保存文件;

        2.会同时修改文件相关的URL,使之指向该文件;

        3.会将URL中的特殊字符编码(如 ? 编码为 %3F),使之表现为单纯的路径名。

清空 temp/ 目录。


自动判断文件类型(扩展名)

我们再下载另一个网站,来检验以下Wget的整站下载效果如何。这个网站是PHP扩展开发及内核应用,一本刚刚翻译完成的书:

wget -r http://www.walu.cc/phpbook/ -np -p -k
下载完成后,我们在 .../phpbook/ 目录发现许多 .md 文件,用浏览器(我使用的是Chrome)打开,发现被解析为了纯文本,这是因为网站页面采用了Markdown编写并输出的,浏览器无法识别 .md 扩展名。

清空 temp/ 目录。

我们给命令增加一个 --adjust-extension 参数,使Wget通过Mime信息自动判断文件的扩展名:

wget -r http://www.walu.cc/phpbook/ -np -p -k --adjust-extension

这样,所有的 .md 文件会保存为 .md.html ,而且页面中的URL也会自动指向新的文件,同样完美。

清空 temp/ 目录。


验证下载效果

为了进一步验证Wget整站下载,我们来尝试一个稍复杂的网站,QtNetwork 5.0 的文档

wget -r http://qt-project.org/doc/qt-5.0/qtnetwork/qtnetwork-index.html -np -p -k --adjust-extension

速度较慢,需要多等一会。下载完成后,总共有169个文件。经过断网测试,除了页面底部的内容显示错误(可能是因为JS未执行),其他的都是可以接受的。


经过以上的几十次探索和测试,我们掌握了Wget的基本和部分高级使用方法。

本文可以当作学习和参考的资料来使用,稍候将整理为PDF文档,供大家下载收藏。


PDF版下载

【Linux入门系列】wget 使用探索.LearnShare.v 1.0.pdf



文章来自LearnShare,转载请注明。

  • 2
    点赞
  • 3
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值