python爬取空气质量_python爬取全国空气质量信息

主要模块

requests模块。使用requests模块来获取http响应

gevent模块。使用gevent开启多个协程，加快爬取速度

re模块或beautifulsoup模块。正则表达式解析与beautifulsoup解析两种解析方式我都会写出来。

csv模块。用于将数据导出至csv文件内

分析过程

1.要爬取的页面的URL地址为：http://www.tianqihoubao.com/aqi/。首先访问该页面(如下图)获取所有城市a标签的href属性，知道了各个城市的api，就可以接着爬取每个城市具体的空气质量了。

2.打开chrome的调试页面，可以看到，a标签在dd标签下，而且整个页面，只有dd标签下只要a标签没有其他标签了。所以正则匹配或使用BS4查找元素时，都可以先找dd标签，再找下面的a标签的href属性。(整个页面只有这里有dd标签，所以要查找dd标签)

3.找到每个城市的url后，再点击去看，发现是月份选择，这里是2020年3月为例，点进去。可以看到，找到了我们需要的空气质量信息。接下来就看如何从页面中将天气信息提取出来。

4.打开chrome调试工具。可以看到，需要的空气质量信息，在tr标签下的td标签内，而且每个tr标签对应一天的空气质量信息，那么就可以首先查找tr标签ÿ