Python爬虫——天气信息&空气质量数据

import requests
from bs4 import BeautifulSoup
from pandas import read_csv
from IPython.display import display
import pandas as pd


# 这段代码是为了在pycharm的控制台中显示全部，不需要的可以不加
# 设置控制台输出结果的可显示长度
pd.set_option('display.max_columns', 1000)
pd.set_option('display.width', 1000)
pd.set_option('display.max_colwidth', 1000)
# 设置控制台输出结果的对齐
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)


# 爬虫 天气信息&空气质量数据 http://www.tianqihoubao.com/
def AQI_data(city, *years):
    m = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']  # 月份
    urls = []
    for year in range(years[0], years[-1] + 1):
        for m1 in m:
            ur = 'http://www.tianqihoubao.com/aqi/%s-%d'%(city,year) + m1 + '.html'
            urls.append(ur)  # 循环得出所有爬取网址
    file = open('AQI_data.csv', 'w', encoding='UTF-8')  # 设置编码方式 进行写操作
    header = {'User-Agent':
                  'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}  # 设置用户代理
    for url in urls:
        response = requests.get(url, headers = header)  # 配置信息
        soup = BeautifulSoup(response.text, 'html.parser')  # 获取网页代码
        weather_list = soup.select('div[class="api_month_list"]')  # 选择特定div
        for weather in weather_list:
            weather_date = weather.select('table[class="b"]')  # 选择div中特定table
            ul_list = weather.select('tr')  # 选择table中所有tr
            for ul in ul_list:  # 循环每次得到一个tr
                li_list = ul.select('td')  # 选择tr中所有td
                str = ""
                for li in li_list:  # 循环每次得到一个td
                    l = li.string  # list转换string
                    print(l)
                    if (l == None):
                        str = str + '无数据' + ','  # 空值用‘无数据’填充
                    else:
                        str = str + l.strip() + ','  # 清除数据中的空格
                if (str != ' '):
                    file.write(str + '\n')  # 写数据+换行
    file.close()

# 爬虫def运行，城市和时间可以自由改变
AQI_data('dalian',2017,2020)


# 导入数据
aqi = read_csv('AQI_data.csv', encoding='UTF-8', header=None)
display(aqi.head(n=5))  # 显示前5行

# 数据清洗
del aqi[8]  # 删除多余列
del aqi[9]
del aqi[10]
aqi.columns = ['日期', '质量等级', 'AQI指数', 'AQI排名', 'PM2.5', 'PM10', 'So2', 'No2']  # 设置列索引
aqi = aqi[~aqi['日期'].isin(['无数据'])]  # 选取aqi中日期列不包含'无数据'的行
aqi = aqi.drop_duplicates()  # 删除重复值
aqi = aqi.astype({'AQI指数':'int', 'AQI排名':'int', 'PM2.5':'int', 'PM10':'int', 'So2':'int', 'No2':'int'})  # 将需要的列从str类型转换为int类型
display(aqi.head(n=5))  # 显示前5行