网络安全 基于scrapy框架与selenium、openpyxl库爬取国外各国家疫情统计汇总信息
网络安全 基于scrapy框架与selenium、openpyxl库爬取国外各国家疫情统计汇总信息
数据来源
https://voice.baidu.com/act/newpneumonia/newpneumonia/
思路
由于目标页面中的数据是动态加载出来的,所以直接发起请求得到的响应是不包含任何有用数据的,所以需要使用selenium的浏览器驱动器进行请求发送并获得包含数据的响应。同时继续观察页面发现,初始加载的页面只包含前面一部分数据,剩余数据需要手动点击“展开全部”才能加载全部数据,所以还需要使用
原创
2021-07-17 13:52:31 ·
380 阅读 ·
2 评论