[wget]分享自己爬api文档使用过的几个参数

因为国外网站访问速度和被墙的原因，总是不能很愉快的找文档，这时候离线下来是个好的选择，这里选择使用wget这个指令。

-mirror是wget下的很强的参数，意为镜像，适合用来爬站。

1、wget -mirror -p -convert-links URL

-convert-links 会把下载的网页转换成本地的链接，如果不加入这个参数，页面中的链接不能指向本地的网页，所以必加，-p会把网页所需要的资源一起爬下来，比如图片，声音，css，但是外链资源不会被爬下来，这个问题做着如下说：

Note that Wget will behave as if -r had been specified, but only
that single page and its requisites will be downloaded.  Links from
that page to external documents will not be followed.  Actually, to
download a single page and all its requisites (even if they exist
 on separate websites), and make sure the lot displays properly
 locally, this author likes to use a few options in addition to -p:

wget -E -H -k -K -p http://<site>/<document>

2、不过使用第一个指令会出现一个问题，比如说要爬的文档是网站的某个子目录，比如说：http://xxx.com/xxx/doc.html,如果这个时候用-mirro这个指令的话它会从头爬到尾，把整个站都原原本本的爬下来，这个是不需要的，所以要加上-np这个指令，意为不爬上层目录，这样你指定哪个链接他就从哪个链接开始下载，遇到返回上层目录的情况就不下载。

3、对于网站特别大的那种，而且网络部是特别好的情况下，一次请求链接可能不成功，需要多次请求，但是一次失败等待900秒，很长，我一般会加上这个指令 -T 5 -t 20 ，意为5秒再尝试，20次尝试次数，可以酌情调整。

4、爬站时会出现403 forbidden，原因是没有请求头，我是这么搞得。

右边的user-agent就是请求头了，直接赋值就可以了，闲麻烦可以直接用下面这个，增加请求头的指令-U

wget -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0'

5、有些网站需要登录才能查看信息，这个时候需要cookies,下面这几个必加。

-cookies=on

--keep-session-cookies

--load-cookies=cookies.txt

--save-cookies=cookies.txt

导出cookies我是在firefox游览器下装export cookies插件导出的，加载的时候，比如说我在/home/user/document/下执行wget指令，那就把cookies.txt放到/home/user/document/下就可以加载到这个cookies.txt了。

6、中文站爬下来的时候会转义形成乱码，加上指令-restrict-file-names=nocontrol

差不多用到这些就够了，爬一个文档的完整指令应该如下：

wget  -mirror  -p -np -convert-links -mirror -cookies=on --keep-session-cookies --load-cookies=cookies.txt  --save-cookies=cookies.txt --restrict-file-names=nocontrol  -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0' -T 5  -t 20 URL

可根据自己的需求自己修改，并不一定要按部就班。

最后，-O这个指令可以输出到管道，有了管道cat、grep、awk就随便你了，不再赘述。