python爬取空气质量指标_python爬虫之静态网页——全国空气质量指数(AQI)爬取

首先爬取地址：http://www.air-level.com/

利用的python库，最近最流行的requests，BeautifulSoup。

requests：用于下载html

BeautifulSoup：用于解析

下面开始分析：要获取所有城市的aqi，就要进入每个城市的单独链接，而这些链接可以从主页中获取

打开主网页，查看源代码，可以看到，所有的城市链接都在id=‘citylist’里面

把所有链接爬下来存在一个列表里面，然后依次爬取每个城市的单个链接，附代码：

def get_all_city(): # 爬取城市链接

url = "http://www.air-level.com"

try:

kv = {'user-agent': 'Mozilla/5.0'} # 伪装成浏览器，headers

r = requests.get(url, headers=kv)

r.raise_for_status()

r.encoding = r.apparent_encoding

except:

print("爬取城市链接失败")

demo = r.text

soup = BeautifulSoup(demo, "html.parser")

time &#