Python爬虫实现JS写的翻页

最新推荐文章于 2022-03-24 15:29:25 发布

未来农场

最新推荐文章于 2022-03-24 15:29:25 发布

阅读量3.5k

点赞数 2

分类专栏： python

本文链接：https://blog.csdn.net/bibi1003/article/details/87720621

版权

目标网站：http://beijing.chineseoffice.com.cn/Template/office_complete.html

当查看网页源码时，没有各楼信息，实际写在JS里，包括翻页功能。

Chrome的developer tool查看网络包信息：

上代码：

url = "http://beijing.chineseoffice.com.cn/Building/GetbuildingList"
    
    for i in range(10): #总页数可以从翻页工具条中获得
        data = "page=%s" % str(i)
        listPage = requests.post(url,data=data) #实现翻页
        #以下非本文内容，用json解析获得的页面，取得build的id，拼成详细页link，访问详细页
        page = requests.get("http://beijing.chineseof