——————————————————————
最新更新
2019-09-02 文书网已改版,本文已经失效
——————————————————————
本次脚本运行环境:
python 3.X 运行py环境
Node.js(V8) execjs依赖
DBUtils 多线程数据库连接
pymysql 数据存储
redis ip缓存
裁判文书数据获取
本脚本发布日期为2019年5月20日,距发布日期,该脚本依旧能运行成功
一开始运行的时候提示报错很正常,因为服务器有时返回的数据存在问题,这个事情的发生前提和ip有关,也和对方服务器有关。只要能运行出正常数据即可。
PS:本脚本仅供学习使用,请勿作用于任何商业用途发生任何事情,与本人无关。
再PS:若对你有帮助,请不要吝啬你的star,靴靴
本脚本的逻辑结构为
1:生成需要获取的时间范围
2:根据时间范围list,和所有省份列表,开始进行接口请求,获取中级法院列表
3:根据中级法院列表里当天的文书数量,进行二次判断,是否需要进行基层法院列表获取
4:根据cpws.js和第一次请求返回的参数,进行加密参数获取,并请求
5:根据返回的doc_id,使用docid.js进行文书id解密,并进行访问
6:截取内容json,获取指定数据,存入mysql
7:根据列表数据数量,进行翻页请求
ps1:脚本中有注释,请自行观看
ps2:列表加密参数会与请求的ip进行绑定,需注意
ps3:2019-05-13至2019-05-17期间,出现详细内容查看失败,服务器报错的情况,并伴随多次搜索提示:服务器繁忙。大概率是请求过多导致。请控制自己的行为
ps4:如果使用者需要大量数据,请联系本人,别去霍霍这个网站了,作者君看的都心疼了。
ps5:数据量较大,若存储空间较小,请做好长字段的数据缓存。(10W条数据 = 1G)
ps6:1996~2013数据量较少
ps7:会使用大量IP,请使用者自行斟酌。
github:项目地址删除,这小伙子们一点数都没有。