因为国外网站访问速度和被墙的原因,总是不能很愉快的找文档,这时候离线下来是个好的选择,这里选择使用wget这个指令。
-mirror是wget下的很强的参数,意为镜像,适合用来爬站。
1、wget -mirror -p -convert-links URL
-convert-links 会把下载的网页转换成本地的链接,如果不加入这个参数,页面中的链接不能指向本地的网页,所以必加,-p会把网页所需要的资源一起爬下来,比如图片,声音,css,但是外链资源不会被爬下来,这个问题做着如下说:
Note that Wget will behave as if -r had been specified, but only
that single page and its requisites will be downloaded. Links from
that page to external documents will not be followed. Actually, to
download a single page and all its requisites (even if they exist
on separate websites), and make sure the lot displays properly
locally, this author likes to use a few options in addition to -p:
wget -E -H -k -K -p http://<site>/<document>
2、不过使用第一个指令会出现一个问题,比如说要爬的文档是网站的某个子目录,比如说:http://xxx.com/xxx/doc.html,如果这个时候用-mirro这个指令的话它会从头爬到尾,把整个站都原原本本的爬下来,这个是不需要的,所以要加上-np这个指令,意为不爬上层目录,这样你指定哪个链接他就从哪个链接开始下载,遇到返回上层目录的情况就不下载。
3、对于网站特别大的那种,而且网络部是特别好的情况下,一次请求链接可能不成功,需要多次请求,但是一次失败等待900秒,很长,我一般会加上这个指令 -T 5 -t 20 ,意为5秒再尝试,20次尝试次数,可以酌情调整。
4、爬站时会出现403 forbidden,原因是没有请求头,我是这么搞得。
右边的user-agent就是请求头了,直接赋值就可以了,闲麻烦可以直接用下面这个,增加请求头的指令-U
wget -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0'
5、有些网站需要登录才能查看信息,这个时候需要cookies,下面这几个必加。
-cookies=on
--keep-session-cookies
--load-cookies=cookies.txt
--save-cookies=cookies.txt
导出cookies我是在firefox游览器下装export cookies插件导出的,加载的时候,比如说我在/home/user/document/下执行wget指令,那就把cookies.txt放到/home/user/document/下就可以加载到这个cookies.txt了。
6、中文站爬下来的时候会转义形成乱码,加上指令-restrict-file-names=nocontrol
差不多用到这些就够了,爬一个文档的完整指令应该如下:
wget -mirror -p -np -convert-links -mirror -cookies=on --keep-session-cookies --load-cookies=cookies.txt --save-cookies=cookies.txt --restrict-file-names=nocontrol -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0' -T 5 -t 20 URL
可根据自己的需求自己修改,并不一定要按部就班。
最后,-O这个指令可以输出到管道,有了管道cat、grep、awk就随便你了,不再赘述。