2018年09月第一周复盘

附：

无讼网爬取可行性分析报告：

 

• 网站分析

无讼网数据来源是裁判文书网，但是反爬措施相对来说少一些，现在文书网做了调整，无讼网每日新增数据只有10条左右，现在可以爬取无讼网的存量数据。

无讼网的数据量更全一些。

无讼网总量数据是5635W,    浙江省，民事  350W条

裁判文书网总量数据是5205W,   浙江省，民事  235W条

現存数据库中的浙江省的数据是 131324条 13W   vs    350W

有关金融，借贷的数据240W条       

 

2017年 + 2018年        目标锁定                    70W

 

• 爬取状况

 

接口给出的限制是只有20页数据，共400条，如何根据有限的接口数量来进行全量抓取呢，需要添加限制条件

 

条件参数：

请求返回的json数据中已经包含了所有的选择条件，我们需要做的就是把这些条件的id和name全部选出来

案件类型，审判年份，审判程序，判决类型，法院层级，地域等6项限制条件

 

 

通过相关的限制条件选择之后，可以将目标拉到我们的攻击范围之内，剩下的就是获取参数，解析详情页面了，初步的策略就是酱紫，后续接着研究