这里以这个网站为例
https://knewone.com/
在上下滚动中可以发现,这个网页底端没有下一页按钮,但是随着向下翻页,会出现新的内容,这是用js生成的,我们打开F12开发者工具
选择Network
,XHR
可以看到出现的新页面,然后可以用requests,beautifulsoup库进行爬取
这里以这个网站为例
https://knewone.com/
在上下滚动中可以发现,这个网页底端没有下一页按钮,但是随着向下翻页,会出现新的内容,这是用js生成的,我们打开F12开发者工具
选择Network
,XHR
可以看到出现的新页面,然后可以用requests,beautifulsoup库进行爬取