《解析Python网络爬虫 核心技术、Scrapy框架、分布式爬虫》【作者】黑马程序员编著,书中有以下一段话:
找个真实的网页,看一看就明白了。比如:
https://www.toutiao.com/search/?keyword=风景
点击上面的网页,能够看到网址不变,但是下拉的时候,会不断加载页面(也就是实现了翻页的功能)
——所以重点来了,要实现 这种网页的爬虫, 你必须知道它是怎么实现翻页的,不然你只能requests.get()得到如下的源代码,重要的信息一个看不到,真是一点用都没有,如下图:
——所以有必要使用selenuim,同志们!!!
先研究