在Mac OS X上构建wget来抓取静态网站内容

我们的目标是在Mac OS上获取一个静态服务器的内容，通常用wget是一个很好的选择。

wget是一个命令行工具用于从网络服务器来获取内容。但是在Mac OS X（Mountain Lion/ Mavericks / Snow Leopard）上没有提供该工具，但是有curl。

wget VS curl

curl

• 基于跨平台的库libcurl

• 支持unix管道

• 返回错误代码来支持错误处理

• 只返回单个url的内容，不支持自动取链接的内容

• 大量协议支持诸如 ：FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP, RTMP and RTSP

• 可移植性好

• 支持不同的SSL/TSL库

• 支持HTTP认证（HTTP Authentication）

• 支持双向和多部分提交数据

• 支持压缩

• MIT协议

wget

• 只支持命令行

• 支持递归的抓取数据，也就是说可以抓取返回内容中的url链接的内容。

• 非常古老，开发不活跃。

• 使用HTTP 1.0

• GNU项目的一部分

• GPL 协议

总体而言curl比wget要进步许多，可是要获取一个网站的镜像，迭代功能必不可少。只好自己动手，在Mac上构建一个wget。

构建wget

首先确定你已经安装了Xcode和GCC，如果不知道如何安装，可以参考这个链接。

然后从gnu下载wget的源码

curl -O http://ftp.gnu.org/gnu/wget/wget-1.15.tar.gz

下载好后，解压缩

tar -xvf wget-1.15.tar.gz