selenium + requests + xpath实现空气质量数据的爬取并实现网络异常等待
背景
最近在爬一个空气质量的网站,数据比较多,而且网站还是采用的js动态渲染的方式!好吧! 我只能选择使用selenium了,直接模拟浏览器登录的方式抓取数据。另外,因为我想要全部的数据,所以,我还得获得网站提供的所有的城市和对应的有空气质量数据的年月。这样才能不用自己去输入,直接搞到全部。而我又发现,这一部分的内容他不是动态渲染过来的,所以我还是用我喜欢的requests请求再加xpath进行...
原创
2019-12-01 00:34:35 ·
408 阅读 ·
0 评论