利用wget 抓取 网站网页 包括css背景图片

wget是一款非常优秀的http/ftp下载工具,它功能强大,而且几乎所有的unix系统上都有。不过用它来dump比较现代的网站会有一个问题:不支持css文件,它不会自动下载、重新链接css中所指定的图片。这个问题导致的最常见的后果是dump下来的网站看不到背景图片。本文所介绍的这个脚本主要就是用来解决这个缺陷的。

这里简要介绍一下这个脚本的细节:
  • 第3行用于设置要下载的网站的地址。
  • 第10行用于将文件名转换为windows兼容的格式。windows对文件名格式的要求比unix更为苛刻一点,这里指定为windows也可以兼容unix系统。总的来说,wget的这个功能稍微弱了一点,面对一些更苛刻的系统就没有办法了。
  • 第13行用于忽略robots.txt。很多网站的css、js文件都是在robots.txt中被定义为spider不可访问的。
  • 第15、16行用于忽略某些目录和文件。因为没有了robots.txt的限制,wget可能会去访问一些不需要的东西。这里可以根据具体情况做限制。
  • 第19~24行下载css中链接的文件。
  • 第26~29行修正css中的链接。
以下是这个脚本的内容
  1. #!/bin/sh  
  2.   
  3. ADDR="http://www.EXAMPLE.com/"  
  4.   
  5. SERVER=${ADDR#http://}  
  6. SERVER=${SERVER%%/*}  
  7.   
  8. wget /  
  9.     --html-extension /  
  10.     --restrict-file-names=windows /  
  11.     --convert-links /  
  12.     --page-requisites /  
  13.     --execute robots=off /  
  14.     --mirror /  
  15.     --exclude-directories /comment/reply/,/aggregator/,/user/ /  
  16.     --reject "aggregator*" /  
  17.     "$ADDR"  
  18.   
  19. find $SERVER -type f -name "*.css" -exec cat {} /; |  
  20. grep -o 'url(/[^)]*)' |  
  21. sort |   
  22. uniq |  
  23. sed 's/^url(/(.*/))$/http:////'$SERVER'/1/' |  
  24. wget --mirror --page-requisites -i -  
  25.   
  26. for i in `find $SERVER -type f -name "*.css"`; do  
  27.     PREFIX="$(echo $i | sed 's/[^//]*//g; s///$//; s////../////g')"  
  28.     sed -i 's/url(///url('$PREFIX'/g' $i  
  29. done  
展开阅读全文

没有更多推荐了,返回首页