爬取 空气质量数据

某时刻全国所有城市AQ

使用urllib进行http请求，bs解析为tree结构

import urllib.request
from bs4 import BeautifulSoup
url='http://www.pm25.in/rank'#空气rank
html=urllib.request.urlopen(url)
data=html.read()#执行完html就变成空了，所以我在这切下去了

创建soup并通过便签+属性精确找到表格tag 

soup = BeautifulSoup(data,'html.parser')
table = soup.find('table',attrs={'class':'table table-striped table-bordered table-condensed'})

使用openpyxl初始化excel表格 

from openpyxl import Workbook
wb = Workbook()
wb.create_sheet('cities\' AQ')
wb.remove(wb['Sheet'])
ws = wb['cities\' AQ']

表头的填充：就是thead。这里注意去除多余换行和空格

names = table.thead.find_all('th')
for i in range(len(names)):#从2开始放
    names[i]=names[i].text.replace(' ','').replace('\n','')
    print(names[i])    
    ws.cell(row=1,column=i+1,value=names[i])
wb.save('全国城市空气质量.xlsx')

结果：

内容填充：就是tbody，而一个tr是一行，一个td是一行中的一个

row = table.tbody.find_all('tr')#一个tr是一行
for i in range(len(row)):
    col = row[i].find_all('td')
    for j in range(len(col)):
        col[j]=col[j].text.replace(' ','')
        ws.cell(row=i+2, column=j+1, value=col[j])
wb.save('全国城市空气质量.xlsx')     

最终结果：

这个web非常的清晰规整，这是本人第一次将crawl数据保存入excel，用时约30min哈哈