爬虫程序一般的流程:发送请求-处理数据-保存数据
1,发送数据
结论:使用requests,如果有必要的话,使用selenium
问题1:为什么不用urllib?
回答1:我不知道现在是否还有人会有这种疑问,也许这个问题放在几年前,例如2016年左右,还会有人纠结到底是使用urllib好,还是使用requests更好呢,甚至在那个时候,还会有人争论到底应该用python3呢,还是用python2呢?不过现在这些似乎已经不是一个问题了。毕竟很多2021年才开始接触python的初学者,甚至根本就没听说过什么python2。至于requests和urllib,很显然,requests更好用,虽然当初urllib的设计是非常了不起的,他们试图让每一个人,可以像操作本地文件那样,来使用爬虫获取互联网上的数据,但是事实上证明,最终没有受到欢迎。当然,我个人确实是很怀念urllib的,但是不可否认的是,现在用urllib越来越没有必要了。
问题2:selenium这么好用,为什么不总是使用selenium?
回答2:这一般是一个刚入门爬虫的人会纠结的问题。是的,对于很多刚学会使用爬虫的人来说,能够自动获取数据,比以前手工复制粘贴要快了百倍,因此使用selenium已经足够让其感到惊喜了。但是对于专业的爬虫人员来说,selenium的根本问题就在于,它太慢了,这种慢是无法接受的。因此,除非有必要,不应该使用selenium。当然如果你不是一个专业