浏览器:Google Chrome
Python版本:3.7
所引用的库:
from collections import deque
import requests
import json
from bs4 import BeautifulSoup
import re
解决步骤:
- 按F12查看需要爬取的网页源代码,点击Network中的XHR,可以看到在Name文件列表找到对应文件。
- 单击该文件,点击Headers,可以发现网站其实是向https://www.taptap.com/ajax/top/download?page=2&total=30发出了GET请求。
再往下拉可以看到请求的参数为page和total:
- 根据获取到的信息设置初始参数
total = 30
page = 2
json_url = 'https://www.taptap.com/ajax/top/dow