python爬取裁判文书并分析_裁判文书网爬虫攻克

最近因为公司需要爬取裁判文书网的某一类别文章数据,于是简单研究了一下,发现网站数据全是js加载的,于是想都没想直接用selenium尝试爬取,没想到竟然有selenium都抓取不到的js(刚毕业的python小白哈哈)。于是在网上搜取各种裁判文书网的爬虫思路方法,发现有还是有挺多前辈研究过的,我根据他们的思路也研究了一下,但是作为小白的我也只能明白大概思路,但是有很多省略没写的地方我也是全然不会,但是好在我也并没有放弃呀,于是在坚持不懈的以及公司动的前端的小哥哥的帮助下,终于将裁判文书网给攻破了。所有我想总结一下作为小白的思路,我尽可能的写的详细一点,希望大家能看明白哈!

首先,如果用python爬虫的话,由于此篇需要执行js文件来获取参数,所以可以使用python一个叫PyV8的一个库来执行js文件,具体用法大家可以去网上搜索,这里就不做解释了。但是安装这个库需要用python2来执行,并且我当时安装的好像不怎么顺利,费了好些劲才装上。如果到最后实在不行,可以用另外一个库execjs,我没用过,不过应该也可以的。

接下来就是分析网页了:

进入裁判文书网首页之后,点击或者输入某一个搜索名称,例如搜索 :建设工程,之后会进入相关列表页。F12打开调试器会发现没法调试,需要关闭右下角的反调试按钮:

接下来分析js文件,可以知道一个叫ListContent的文件,他的返回数据正是我们需要的文章ID:

可是怎么获取到他呢? 通过查看他的Headers头可以发现,该请求方式是通过post请求的,传递的参数分别是:Param,Index,Page,Order,Direction,v15x,number和guid八个参数。

其中前五个很好理解,但是后面三个参数v15x,number,guid就是需要观察其他js文件来获取的了。