爬取全国各个城市的最低气温

思路分析

分别爬取八大地区的城市最低气温，再合起来即可得到全国各个城市的最低气温。
由于每一个地区的页面布局基本一致，因此，我们只要完成其中一个地区的数据提取，并写一个函数封装起来，对于其他地区，传入相应参数循环调用此函数即可。
本文数据提取使用的是BeautifulSoup，用XPath定位也可以。具体操作比较简单，就是请求对应页面，提取想要的数据，然后保存数据。完整的代码如下所示。

完整代码

# ！/usr/bin/env python
# —*— coding: utf-8 —*—
# @Time:    2020/2/3 9:56
# @Author:  Martin
# @File:    weather.py
# @Software:PyCharm
import requests
import pandas as pd
from bs4 import BeautifulSoup


def main():
    urls = {
        'http://www.weather.com.cn/textFC/hb.shtml',
        'http://www.weather.com.cn/textFC/db.shtml',
        'http://www.weather.com.cn/textFC/hd.shtml',
        'http://www.weather.com.cn/textFC/hz.shtml',
        'http://www.weather.com.cn/textFC/hn.shtml',
        'http://www.weather.com.cn/textFC/xb.shtml',
        'http://www.weather.com.cn/textFC/xn.shtml',
        'http://www.weather.com.cn/textFC/gat.shtml'
    }
    weather_data = []
    for url in urls:
        weather_data += parse_page(url)
    save(weather_data)


def save(data):
    pd.DataFrame(data).to_csv('./result/weather.csv', index=False, encoding='utf_8_sig')


def parse_page(url):
    headers = {
        'Referer': 'http://www.weather.com.cn/textFC/hb.shtml',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
    }
    data = []
    response = requests.get(url, headers=headers)
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text, 'html5lib')
    divs = soup.find_all('div', class_='conMidtab2')
    for div in divs:
        tbodys = div.find_all('tbody')
        for tbody in tbodys:
            trs = tbody.find_all('tr')[2:]
            for index, tr in enumerate(trs):
                tds = tr.find_all('td')
                if index == 0:
                    city_name = list(tds[1].stripped_strings)[0]
                else:
                    city_name = list(tds[0].stripped_strings)[0]
                min_temperature = int(list(tds[-2])[0])
                print({'city_name': city_name, 'min_temperature': min_temperature})
                data.append({'city_name': city_name, 'min_temperature': min_temperature})
    return data


if __name__ == '__main__':
    main()

结果展示