Linux命令之wget 抓取整站

wget -r -p -np -k http://www.wohaoba.com/

-r  递归
-p,  --page-requisites（页面必需元素）
-np, --no-parent（不追溯至父级）
-k  将下载的HTML页面中的链接转换为相对链接即本地链接

找了几个wget技巧，发一下。

$ wget -r -np -nd http://www.wohaoba.com/packages/
这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中，-np
的作用是不遍历父目录，-nd 表示不在本机重新创建目录结构。

$ wget -r -np -nd --accept=iso http://www.qqfdc.com/centos-5/i386/
与上一条命令相似，但多加了一个 --accept=iso 选项，这指示 wget 仅下载 i386
目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名，只需用逗号分隔即可。

$ wget -i filename.txt
此命令常用于批量下载的情形，把所有需要下载文件的地址放到 filename.txt 中，
然后 wget 就会自动为你下载所有文件了。

$ wget -c http://www.wohaoba.com/really-big-file.iso
这里所指定的 -c 选项的作用为断点续传。

$ wget -m -k (-H) http://www.wohaoba.com/
该命令可用来镜像一个网站，wget 将对链接进行转换。如果网站中的图像是放在另外的站点，
那么可以使用 -H 选项

也可以使用其他抓取工具如 webzip 、HTTrack Website Copier、 teleport pro