[wget]分享自己爬api文档使用过的几个参数

因为国外网站访问速度和被墙的原因,总是不能很愉快的找文档,这时候离线下来是个好的选择,这里选择使用wget这个指令。

-mirror是wget下的很强的参数,意为镜像,适合用来爬站。

1、wget -mirror -p -convert-links URL

-convert-links 会把下载的网页转换成本地的链接,如果不加入这个参数,页面中的链接不能指向本地的网页,所以必加,-p会把网页所需要的资源一起爬下来,比如图片,声音,css,但是外链资源不会被爬下来,这个问题做着如下说:

Note that Wget will behave as if -r had been specified, but only
that single page and its requisites will be downloaded.  Links from
that page to external documents will not be followed.  Actually, to
download a single page and all its requisites (even if they exist
 on separate websites), and make sure the lot displays properly
 locally, this author likes to use a few options in addition to -p:

wget -E -H -k -K -p http://<site>/<document>


2、不过使用第一个指令会出现一个问题,比如说要爬的文档是网站的某个子目录,比如说:http://xxx.com/xxx/doc.html,如果这个时候用-mirro这个指令的话它会从头爬到尾,把整个站都原原本本的爬下来,这个是不需要的,所以要加上-np这个指令,意为不爬上层目录,这样你指定哪个链接他就从哪个链接开始下载,遇到返回上层目录的情况就不下载。


3、对于网站特别大的那种,而且网络部是特别好的情况下,一次请求链接可能不成功,需要多次请求,但是一次失败等待900秒,很长,我一般会加上这个指令 -T 5 -t 20 ,意为5秒再尝试,20次尝试次数,可以酌情调整。


4、爬站时会出现403 forbidden,原因是没有请求头,我是这么搞得。



右边的user-agent就是请求头了,直接赋值就可以了,闲麻烦可以直接用下面这个,增加请求头的指令-U

wget -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0'


5、有些网站需要登录才能查看信息,这个时候需要cookies,下面这几个必加。

-cookies=on

--keep-session-cookies

--load-cookies=cookies.txt

--save-cookies=cookies.txt

导出cookies我是在firefox游览器下装export cookies插件导出的,加载的时候,比如说我在/home/user/document/下执行wget指令,那就把cookies.txt放到/home/user/document/下就可以加载到这个cookies.txt了。


6、中文站爬下来的时候会转义形成乱码,加上指令-restrict-file-names=nocontrol

差不多用到这些就够了,爬一个文档的完整指令应该如下:

wget  -mirror  -p -np -convert-links -mirror -cookies=on --keep-session-cookies --load-cookies=cookies.txt  --save-cookies=cookies.txt --restrict-file-names=nocontrol  -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0' -T 5  -t 20 URL

可根据自己的需求自己修改,并不一定要按部就班。

最后,-O这个指令可以输出到管道,有了管道cat、grep、awk就随便你了,不再赘述。


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值