python动态爬取不一样的url_什么情况？python这次居然被web scraper比下去了

周末，永恒君和一位B站网友讨论交流了一下关于web scraper爬取网页的问题。今天来和各位分享一下，希望能给大家有帮助。

需求

1、爬取的网站地址：

http://wenshu.court.gov.cn/website/wenshu/181217BMTKHNT2W0/index.html?pageId=7bcf3b0574e320a487ada1f504759be4&s21=%E8%B5%94%E5%81%BF

2、需要抓取的信息

爬取文书列表内容，报告标题、文号、日期、摘要等等信息。

3、需要抓取多页，比如说前10页。

分析网站的情况

1、抓取的页面翻页的时候，url是不会变的。而在页面的源码当中又找不到内容，说明网页是通过异步加载的。

2、打开F12，就会弹出下面的暂停提示，阻止后续的查看。没事，点击右下角的取消断点，再运行即可。

3、点击“network”，点击网页的第二页，查看请求的数据。

可以看到，是post请求，后面需要有一堆的参数

一般而言，通过这样请求之后，可以获取到真实的json文件，里面就包含了网页中文书的列表当中，然而这次却是不一样，请求得到的居然是加密的信息，还需要通过一定方式来进行解密才行。