使用wget抓取网页

使用wget的mirror选项可以实现整个网站的镜像抓取。语法是
wget --mirror -w  --html-extension --convert-links -P $path

有点长……事实上，可以通过别名来简化这个操作，在.bash_profile下添加如下语句

alias webdup2='wget --mirror -w 2 --html-extension --convert-links -P .'

这样，就可以通过 webdup2 http://……来进行网站抓取了，当然，缺点很明显：这可不是多线程下载:)

******

Quote of the day:
There are more of them than us. - Herb Caen