爬取翻页URL不变的网站

今天爬取一个网站时发现翻页URL不变，估计是做了重定向，不过没关系，再艰难的网站也能爬下来。

刚开始没什么思路，查看了网页的源代码，发现它的翻页是通过JS控制的，不像一些普通网站直接把下一页的URI写在当前页面中，后来想到这种情况有可能是通过XHR传数据实现的，于是打开开发者工具，发现压根就没有用到这种技术，但我却有别的收获——我发现主页面POST了很多数据，原来是通过这种方式，于是我开始研究这些数据的来源。

这个网站的URL是：http://ris.szpl.gov.cn/bol/index.aspx，这是政府的网站，所以各位在爬取时不要太过频繁，只当练手即可。

注意！POST的数据只有翻页后才能看到。

通过开发者工具可以看到它POST了很多数据，请看下图（右击图片，选择“在新标签页中打开图片”可查看大图）：

多翻几次页可发现这几个值的变化规律如下：

“__EVENTTARGET”的值保持不变，一直都是“AspNetPager1”。

“__EV