裁判文书网爬虫

——————————————————————
最新更新
2019-09-02 文书网已改版，本文已经失效
——————————————————————

本次脚本运行环境：
python 3.X 运行py环境
Node.js(V8) execjs依赖
DBUtils 多线程数据库连接
pymysql 数据存储
redis ip缓存

裁判文书数据获取

本脚本发布日期为2019年5月20日，距发布日期，该脚本依旧能运行成功
一开始运行的时候提示报错很正常，因为服务器有时返回的数据存在问题，这个事情的发生前提和ip有关，也和对方服务器有关。只要能运行出正常数据即可。

PS：本脚本仅供学习使用，请勿作用于任何商业用途发生任何事情，与本人无关。

再PS：若对你有帮助，请不要吝啬你的star,靴靴

本脚本的逻辑结构为

1：生成需要获取的时间范围

2：根据时间范围list，和所有省份列表，开始进行接口请求，获取中级法院列表

3：根据中级法院列表里当天的文书数量，进行二次判断，是否需要进行基层法院列表获取

4：根据cpws.js和第一次请求返回的参数，进行加密参数获取，并请求

5：根据返回的doc_id,使用docid.js进行文书id解密，并进行访问

6：截取内容json，获取指定数据，存入mysql

7：根据列表数据数量，进行翻页请求

ps1:脚本中有注释，请自行观看

ps2:列表加密参数会与请求的ip进行绑定，需注意

ps3:2019-05-13至2019-05-17期间，出现详细内容查看失败，服务器报错的情况，并伴随多次搜索提示：服务器繁忙。大概率是请求过多导致。请控制自己的行为

ps4:如果使用者需要大量数据，请联系本人，别去霍霍这个网站了，作者君看的都心疼了。

ps5:数据量较大，若存储空间较小，请做好长字段的数据缓存。（10W条数据 = 1G）

ps6:1996~2013数据量较少

ps7:会使用大量IP，请使用者自行斟酌。

github:项目地址删除，这小伙子们一点数都没有。