Wget下载网页与镜像网站

本文主要介绍GNU Wget实用程序及其在在FreeBSD操作系统下的安装过程，并对几个最常用的下载功能进行了说明，主要包括以下几个方面：

• GNU Wget概述
• Wget程序安装
• Wget常用功能

---

1 GNU Wget概述

GNU Wget是一个免费的实用程序，方便用户以非交互方式下载文件，支持HTTP、HTTPS和FTP协议，也可以通过HTTP代理进行检索。

（1）非互式

Wget是非交互式的，这意味着它可以在后台工作，下载过程中不需要用户登录，也不需要用户介入。用户启动Wget任务后即可断开与系统的连接，留下Wget默默地完成工作，这在传输大量数据或者执行耗时较长的任务时提供了极大的便利。

（2）递归下载

Wget可以跟踪HTML、XHTML和CSS页面中的链接，以创建远程网站的本地版本，从而完全重新创建原始网站的目录结构。这有时被称为“递归下载”。当然，Wget会尊重机器人排除标准(/robots.txt)。用户还可以指示Wget将下载文件中的链接转换为指向本地文件，以便脱机查看。

（3）站点镜像

当通过FTP检索时，可以使用文件名通配符匹配和目录的递归镜像。Wget可以读取HTTP和FTP服务器提供的时间戳信息，并将其存储在本地。因此，Wget可以查看远程文件自上次检索以来是否发生了变化，如果有，则自动检索新版本。这使得Wget适合于FTP站点和主页的镜像。

（4）断点续传

Wget被设计为对缓慢或不稳定的网络连接的健壮性。如果由于网络问题导致下载失败，它将继续重试，直到检索到整个文件。如果服务器支持重传，它将指示服务器从上次停止的地方继续下载。

（5）代理服务

Wget支持代理服务器，它可以减轻网络负载，加快检索速度，并提供防火墙后的访问。Wget默认使用被动FTP下载，主动FTP是一个选项。

（6）功能丰富

Wget内置丰富的功能，大多数功能都可以可以通过命令行选项或通过初始化文件进行配置。