利用python的bs4和selenium库结合实现动态页面的爬取(爬取天气网上面的历史天气数据)
报告分析需要历史气象数据,查询到天气网上面有历史天气数据,从2011年到2018年,第一次接触爬虫,在网上找了爬取天气网历史数据的python源码,利用bs4库,但是实际操作中发现soup.select( )函数返回的列表总是[ ] (空),查询发现天气网目前使用的是javascript写的动态页面,可能是为了防止爬虫接入。经过查资料又找到了一种爬取动态页面的方法,经尝试方法有效,写个博客记录一下...
原创
2018-12-17 13:01:37 ·
3640 阅读 ·
0 评论