前言
本篇主要分析文书网爬虫思路,仅供个人学习之用,切勿用于任何商业用途。
分析一
中国裁判文书网首页地址:http://wenshu.court.gov.cn/
随便点击一下
搜索
,进入:
进入第一个结果:
注意圆圈中的
下载
按钮,点击下载,一个.docx
格式的文档就安安稳稳的躺在你的电脑硬盘上了。
到这里初步分析结束,我们自然就想到了爬虫的内容:
分析二
- 网页地址:http://wenshu.court.gov.cn/content/content?DocID=532bd8ed-4ba8-48b7-ad70-0063f64ede05,从中提取出
DocID
,借助fiddler
分析:
- 用到
post
方法,post
的3个参数DocID
已经知道,剩下的htmlStr
和htmlName
暂时未知,不过很容易就能猜出来,也可以拷贝出来urldecode解码查看具体内容。
- 但是我们仍然不知道
htmlStr
和htmlName
的值怎么来的,接下来查看网页源代码,chrome
按ctrl + u
或者右键-查看网页源代码
:
源网页是没有文档内容的,可以知道是异步加载,我们看到这样一段脚本,CreateContentJS
,向一个地址请求信息
http://wenshu.court.gov.cn/CreateContentJS/CreateContentJS.aspx?DocID=532bd8ed-4ba8-48b7-ad70-0063f64ede05 ,抓包看看。
可以看到,请求的结果就包含了htmlStr
和htmlName
的值。然后,你需要对这串字符串进行处理,处理过程略过不提。 - 接下来要得到批量的
DocID
,回到搜索结果中,同样查看网页源代码我们得知DocID
也是异步加载,查看抓包结果:
经过处理后,可以得到json
数据:
也是post
方法,除了webform